【发布时间】:2019-02-22 02:56:38
【问题描述】:
我有一个网站并解析来自社交媒体的一些内容 或其他网站以使信息保持最新。如您所知,Instagram 不会 使用“beatifulSoup Python Parser”或其他可能只是因为您必须登录,并且必须能够运行js,否则它不会加载。它也发生在其他人身上。
出于这个原因,我确实在客户端运行了一些 js 脚本,使用谷歌 chrome 控制台,该脚本将数据保存在 localStorage 中,我之后会使用它。 p>
问题是有时我的互联网速度很慢,或者我必须用我的电脑运行这个脚本,这需要很多时间。也许不多,但每天都在做,它变得非常有问题。
我想在服务器端完成这项工作,总是有很高的互联网速度,而且我可以用我的手机启动脚本,任何时候 或任何地方,我正在努力弄清楚如何实现。
我需要一个服务器端的浏览器,它可以运行 js,以及与客户端相同的所有内容。
- 启动浏览器
- 等待页面加载
- 运行一些js脚本
大部分服务器没有图形界面,只在终端返回html代码。
但是有很多主机服务,java服务器等等越来越多,不仅仅是apach或nginx。据我所知,在 java 上,您可以创建自己的浏览器, 所以这意味着有点可能在服务器上运行浏览器功能。
问题是,有没有我可以使用的现成工具,或者可以编写这种功能,但使用库、框架能够尽可能快地编写它,而不是花费大量时间。因为我没有工作,要在服务器端创建一个浏览器,我只想能够运行一些js。
我使用 php、js、python。 Java 仅 SE 和客户端。 JavaEE 有很多库和大量功能。也许有人知道用哪种语言 我能意识到这一点。任何框架,或者在 linux 上都是可能的,或者有一个可以作为客户端运行的主机服务器,我认为有些公司会使用这种员工来自动完成一些工作。
我在考虑 phantomjs 或 nodejs,但我对他们来说是新手,我想我会花很多时间都没有结果。
任何建议、链接、意见、想法都会对我有很大帮助,谢谢!!!
Phantomjs 确实有效,但你无法使用 Phantomjs 登录,可能是因为它不保留 cookie 或会话数据,或者可能没有标头,所以不要使用网络 scraper 程序只需在服务器上使用真正的浏览器
PhantomJS真的很不方便,不方便什么的,测试你没有得到任何信息,时间太长,你不能只运行js脚本。
page.evaluate(function() {
setTimeout(function(){ document.getElementById("login").click(); console.log("click initialized"); }, 1000);
});
评估中的SetTimeout似乎不起作用,即使检查也需要很多时间
page.evaluateJavascript(function() {
});
evaluateJavascript 卡住了(它不会运行 phantom.exit(0)),您必须重新启动 cmd 并转到 cd 并再次键入所有命令。
非常简单的操作会变成大问题。我不知道为什么要创建phantomjs,它只是为了捕捉还是做一个非常简单的工作人员。甚至来自 phantomjs 的解析器也很糟糕。没有教程,没有用。没有图形界面,evaluate里面的脚本好像运行js的方式不对,很难识别和学习里面是怎么运行的。每当它返回一个空行或没有任何信息时,您都没有任何访问权限,任何信息。没有错误,什么都没有。是不是很流行,我不知道,我以前听说过phantomjs,好像没什么,丑陋,没用。
我在考虑 webDriver 例如 selenium,不需要在客户端运行 selenium,在服务器上运行似乎有点贵。没有主机可以为您提供带有 gui 的 vds,而不是 ubuntu 服务器,因为您需要浏览器。
我意识到没有解决办法
我有一个适用于 js 的脚本,它具有多种功能,不仅是解析,有点像机器人,它可以分析用户数据、关注、取消关注、发布数据,并运行抛出用户。问题是“如何在服务器上运行浏览器功能”,我只是想通过程序一次在服务器上启动 100 个帐户来模拟浏览器,但我猜这是不可能的。也许我会用“没有解决方案,你不能在服务器上运行浏览器”的解决方案来结束这个问题。 WebDriver 的使用成本太高。没有任何程序,您可以一次使用 webDrivers 例如:Chrome、Firefox、Opera、Yandex 等等,但它们也使用大量 RAM,这在 VDS 服务器上太贵了。
【问题讨论】:
-
这看起来像是 API 的任务,为您的网站创建一个 API,然后从您的服务器调用它来执行您的功能,或者如果它与
Instagram相关,他们将有一个 API,可以访问该 API 以获取信息。 -
@vikscool 我不确定 API,我正在解析不同的帐户,这很糟糕,Instagram 不会喜欢它,他们会问很多问题,比如你将在哪里、为什么以及如何使用它.最后他们只是不会给予许可
-
Instagram 有一个 API 可以获取您的信息,无需抓取他们的网站。运行一个 cronjob 定期从 API 获取您需要的信息并将其保存到您的服务器。
-
@kerbholz 如果它只是一个帐户或已知帐户,是的,这可能会起作用,但情况是我从一个帐户运行到另一个帐户,搜索数据,并通过document.click 有点机器人比较数据,而不仅仅是解析。 phantomjs 看起来,我猜它也只加载一个页面,没有更多功能。在 Instagram 上,js 效果很好,因为它们确实使用 ajax 加载页面。并且脚本运行了很长时间,做了很多工作人员。唯一的问题是登录和加载js,很多服务器都做不到
标签: javascript java php python linux