Scrapy 和 Selenium：让 scrapy 等待 selenium？

Question

我有一个用于抓取网站的蜘蛛。我的一件物品只需要 javascript。所以我用scrapy刮掉了网站的一部分，然后用selenium打开了网址。当 URL 打开时，scrapy 继续。如何让scrapy等待我的硒逻辑完成？

提前致谢。

Answer 1

您可以在settings.py中使用DOWNLOAD_DELAY = 0.25，让下载器在从同一网站下载连续页面之前需要等待。

另一种方法可以使用 time.sleep() 来延迟蜘蛛从 selenium 获得响应。