使用 scrapy 抓取基于 AngularJS 的网站

【问题标题】：Crawl AngularJS based website using scrapy使用 scrapy 抓取基于 AngularJS 的网站
【发布时间】：2017-05-02 21:54:49
【问题描述】：

我可以爬取一些页面，但有些页面需要一些时间来加载，因为 DOM 没有完全呈现，所以我无法爬取它。任何人都可以解决这个问题吗？

提前致谢

【问题讨论】：

【解决方案1】：

我推荐scrapy splash。这是scrapy的渲染服务。（由 scrapy 背后的人 scrapinghub 支持）。

【讨论】：

【解决方案2】：

您可以将 selenium 等 Web 驱动程序与 PhantomJS 或 Firefox 等无头浏览器一起使用。单独使用 PhantomJS，或者使用其他可用的替代方法之一：CasperJS、SlimerJS 等......

【讨论】：

【解决方案3】：

作为使用 Selenium 的替代方法，您可以使用 Firefox 或 Chrome 开发工具的 Firebug 插件来观察 AngularJS 应用程序在后台执行的后台请求，然后直接模拟这些请求。

虽然这需要更多的工作，但刮板要快得多，因为它不必等待页面呈现。

【讨论】：