用于 Web 抓取的基于 Python 或 JS 的 REST API

Question

我正在尝试通过 REST API 构建 Python/JS Web 服务。

我的场景如下：

1. 用户点击我网站上的按钮
2. 我的网站向 REST API 发送 HTTP 请求
3. Web 抓取发生在服务器端（使用 Python 或 Node）。第三方网站上的数据是动态加载的。
4. 结果以 JSON 格式发送回我的网站以显示给用户

我检查了一些 Python 托管服务。我不知道他们是否支持 Selenium。 JS 库和 NodeJS 托管也是如此。

基本上，我很困惑。我应该为我的项目和抓取动态数据使用什么？ Python 与 Selenium？ NodeJS 与 PhantomJS 和 Cheerio？

Answer 1

Selenium（单独）和 CheerIO 都不会让您能够从第三方网站动态加载数据。

您正在寻找的答案是PhantomJs。 使用 PhantomJS 可以让您从第三方网站动态加载数据并使用 Javascript 与之交互，您可以执行以下操作，例如向下滚动以请求更多数据，并在添加新内容时开始报废。

我自己在similar project 工作。我在通过 Javascript 与页面交互时从 facebook 抓取数据，并在一堆交互后抓取数据以加载我需要抓取的所有数据，然后将所有这些数据保存在 XML 文件中，以便稍后将它们存储在 OrientDB 数据库中。 在这个项目中，我使用 Selenium 和 PhantomJS 驱动程序，但 PhantomJS 已经是一个 NodeJs 框架，但是我使用 Python 因为这个项目预计会更大并且包含更多的数据科学内容。

在您的情况下，如果场景只是抓取数据然后将其检索到远程主机/客户端，那么我向您推荐 Node + PhantomJS。