【问题标题】:How to run browser functionality on server?如何在服务器上运行浏览器功能?
【发布时间】:2019-02-22 02:56:38
【问题描述】:

我有一个网站并解析来自社交媒体的一些内容 或其他网站以使信息保持最新。如您所知,Instagram 不会 使用“beatifulSoup Python Parser”或其他可能只是因为您必须登录,并且必须能够运行js,否则它不会加载。它也发生在其他人身上。

出于这个原因,我确实在客户端运行了一些 js 脚本,使用谷歌 chrome 控制台,该脚本将数据保存在 localStorage 中,我之后会使用它。 p>

问题是有时我的互联网速度很慢,或者我必须用我的电脑运行这个脚本,这需要很多时间。也许不多,但每天都在做,它变得非常有问题。

我想在服务器端完成这项工作,总是有很高的互联网速度,而且我可以用我的手机启动脚本,任何时候 或任何地方,我正在努力弄清楚如何实现。

我需要一个服务器端的浏览器,它可以运行 js,以及与客户端相同的所有内容。

  1. 启动浏览器
  2. 等待页面加载
  3. 运行一些js脚本

大部分服务器没有图形界面,只在终端返回html代码。

但是有很多主机服务,java服务器等等越来越多,不仅仅是apach或nginx。据我所知,在 java 上,您可以创建自己的浏览器, 所以这意味着有点可能在服务器上运行浏览器功能。

问题是,有没有我可以使用的现成工具,或者可以编写这种功能,但使用库、框架能够尽可能快地编写它,而不是花费大量时间。因为我没有工作,要在服务器端创建一个浏览器,我只想能够运行一些js。

我使用 php、js、python。 Java 仅 SE 和客户端。 JavaEE 有很多库和大量功能。也许有人知道用哪种语言 我能意识到这一点。任何框架,或者在 linux 上都是可能的,或者有一个可以作为客户端运行的主机服务器,我认为有些公司会使用这种员工来自动完成一些工作。

我在考虑 phantomjs 或 nodejs,但我对他们来说是新手,我想我会花很多时间都没有结果。

任何建议、链接、意见、想法都会对我有很大帮助,谢谢!!!

Phantomjs 确实有效,但你无法使用 Phantomjs 登录,可能是因为它不保留 cookie 或会话数据,或者可能没有标头,所以不要使用网络 scraper 程序只需在服务器上使用真正的浏览器

PhantomJS真的很不方便,不方便什么的,测试你没有得到任何信息,时间太长,你不能只运行js脚本。

page.evaluate(function() {

     setTimeout(function(){ document.getElementById("login").click(); console.log("click initialized"); }, 1000);
});

评估中的SetTimeout似乎不起作用,即使检查也需要很多时间

page.evaluateJavascript(function() {

});

evaluateJavascript 卡住了(它不会运行 phantom.exit(0)),您必须重新启动 cmd 并转到 cd 并再次键入所有命令。

非常简单的操作会变成大问题。我不知道为什么要创建phantomjs,它只是为了捕捉还是做一个非常简单的工作人员。甚至来自 phantomjs 的解析器也很糟糕。没有教程,没有用。没有图形界面,evaluate里面的脚本好像运行js的方式不对,很难识别和学习里面是怎么运行的。每当它返回一个空行或没有任何信息时,您都没有任何访问权限,任何信息。没有错误,什么都没有。是不是很流行,我不知道,我以前听说过phantomjs,好像没什么,丑陋,没用。

我在考虑 webDriver 例如 selenium,不需要在客户端运行 selenium,在服务器上运行似乎有点贵。没有主机可以为您提供带有 gui 的 vds,而不是 ubuntu 服务器,因为您需要浏览器。


我意识到没有解决办法


我有一个适用于 js 的脚本,它具有多种功能,不仅是解析,有点像机器人,它可以分析用户数据、关注、取消关注、发布数据,并运行抛出用户。问题是“如何在服务器上运行浏览器功能”,我只是想通过程序一次在服务器上启动 100 个帐户来模拟浏览器,但我猜这是不可能的。也许我会用“没有解决方案,你不能在服务器上运行浏览器”的解决方案来结束这个问题。 WebDriver 的使用成本太高。没有任何程序,您可以一次使用 webDrivers 例如:Chrome、Firefox、Opera、Yandex 等等,但它们也使用大量 RAM,这在 VDS 服务器上太贵了。

【问题讨论】:

  • 这看起来像是 API 的任务,为您的网站创建一个 API,然后从您的服务器调用它来执行您的功能,或者如果它与Instagram 相关,他们将有一个 API,可以访问该 API 以获取信息。
  • @vikscool 我不确定 API,我正在解析不同的帐户,这很糟糕,Instagram 不会喜欢它,他们会问很多问题,比如你将在哪里、为什么以及如何使用它.最后他们只是不会给予许可
  • Instagram 有一个 API 可以获取您的信息,无需抓取他们的网站。运行一个 cronjob 定期从 API 获取您需要的信息并将其保存到您的服务器。
  • @kerbholz 如果它只是一个帐户或已知帐户,是的,这可能会起作用,但情况是我从一个帐户运行到另一个帐户,搜索数据,并通过document.click 有点机器人比较数据,而不仅仅是解析。 phantomjs 看起来,我猜它也只加载一个页面,没有更多功能。在 Instagram 上,js 效果很好,因为它们确实使用 ajax 加载页面。并且脚本运行了很长时间,做了很多工作人员。唯一的问题是登录和加载js,很多服务器都做不到

标签: javascript java php python linux


【解决方案1】:

我觉得你可以用phantomjs,我用这个完成了很多需要登录或者js加载操作的蜘蛛。

您可以使用 Phantomjs 登录,它可以设置 cookie、会话数据和请求标头。您需要做的就是搜索方法,如下所示: phantomjs login Instagram

当你使用 phantomjs 时,最重要的是每次你想做下一步时,你必须确保页面或相关元素加载完成。因为页面或js加载需要加速时间,有时还需要额外发送args来获取页面加载,否则没有相关元素就无法开始下一步。

【讨论】:

  • 我试图更深入地了解 PhantomJS,它有效,不是最好的方法,但它有效。例如,每次我需要登录时,我什么时候开始评估。我刚刚了解到我的托管服务器“Beget”没有安装 phantomjs 的能力,我有 ssh 访问权限,但没有任何安装权限。建议,您正在使用哪种主机,或者是否有任何免费的主机服务可供我测试等等。
  • @AsylzatAzaev 如果这台托管服务器属于你,我想你可以在你的个人资料页面中找到管理员/root 帐户信息,或者你可以询问“Beget”或贵公司的操作人员告诉您是管理员/root 帐户,那么您就可以拥有安装所需内容的权限。如果你想在本地测试,你可以使用virtualbox(免费)或VMware Workstation(商业)或docker(开源)在你的电脑上安装与你的beget主机服务器相同的系统,然后你可以测试任何你想要的。
  • 我觉得 phantomjs 对我来说不是解决方案,它真的很难使用,你登录,登录后,page.evaluate(function() { 里面的脚本似乎运行js或者jquery脚本不对,也有问题,真的很难识别,什么不工作。没有信息,就是黑屏,很不方便开发,测试,运行。
  • 我的 js 脚本包含 1000 行,它可能在我的网络浏览器上运行数小时或更长时间。并且有很多操作 document.getElementById("login").click() click events 和很多 jquery 人员,exeptions 和 if 语句,phantomjs 是什么,它只返回黑屏和不可预知的行为 2 行代码。
  • setTimeout 里面的评估似乎不起作用,没有日志。 Phantomjs 工作 page.sendEvent('keypress', username);并且 document.getElementById("login").click() 不起作用,这意味着 js 不是幻影中的 js,它具有自己降低的 js 脚本编写能力。它可能适用于非常简单的解析器或屏幕捕获,phantomjs 我想我会停止对 phantomjs 的研究。我错了吗?
【解决方案2】:

您不必登录 scrape Instagram。使用 JS,我使用了 requests_html 包来为你完成这项工作。你可以从 instagram_scraper(https://github.com/meetmangukiya/instagram-scraper) 开始,它的灵感来自于 requests 和 requests_html 的作者 Kenneth Reitz 的 twitter-scraper(https://github.com/kennethreitz/twitter-scraper)。主要思想是在没有令牌或登录的情况下进行抓取

这两个脚本都启发了我创建一个不需要登录的scraper。至少,这是一个很好的起点。

2018 年 9 月 22 日更新:我关注了 Setting up a Digital Ocean server for Selenium, Chrome, and Python,但在我自己的服务器上。诀窍是创建一个假显示:从 Jonathan 那里看到这个,在服务器上运行 :)

from pyvirtualdisplay import Display
from selenium import webdriver

display = Display(visible=0, size=(800, 600))
display.start()

options = webdriver.ChromeOptions()
options.add_argument('--no-sandbox')

driver = webdriver.Chrome(chrome_options=options)
driver.get('http://nytimes.com')
print(driver.title)

【讨论】:

  • 非常感谢您的回复,但情况有点不同,我有一个适用于js的脚本,它具有多种功能,不仅解析,有点机器人,它分析用户数据,关注,取消关注,发布数据,并运行抛出用户。问题是“如何在服务器上运行浏览器功能”,我只是想通过程序在服务器上启动 100 个帐户来模拟浏览器,但我猜这是不可能的。也许我会用“没有解决方案,你不能在服务器上运行浏览器”的解决方案来结束这个问题。 WebDriver 的使用成本太高。
  • 啊!可以在服务器上运行 Selenium :) 我已经更新了我的答案
猜你喜欢
  • 1970-01-01
  • 2015-03-29
  • 1970-01-01
  • 2018-12-11
  • 1970-01-01
  • 2023-04-01
  • 2014-09-25
  • 2011-10-15
  • 2021-04-16
相关资源
最近更新 更多