爬取 pinterest 和 quora 之类的网站的可能性

Question

我一直在尝试抓取一些网站（基于 AJAX）用于我的研究。我有一个条件，我应该在不登录相应网站的帐户的情况下抓取内容。

怀疑

我可以看到页面源代码在登录和不登录的情况下存在巨大差异。我知道这是因为 AJAX，但我需要以某种方式抓取其中一个网站，最好是 pinterest。我是网络抓取的新手，所以请告诉我如果你们对如何去做这件事有任何想法

附加条件
没有硒解决方案或基于 Web 驱动程序的解决方案。

Answer 1

我会尝试走这条路：

1. 如果有 API，请使用 API。您可以保存远程资源以及您的资源，因为您不需要渲染任何内容。您可能会发现网站是否使用 API，例如浏览器的开发者工具（网络标签、XHR）。
2. 使用 Splash 作为渲染服务。它使用 scrapy-splash 包与 Scrapy 无缝集成，根据我的经验，它比 Selenium 更可靠。