【发布时间】：2014-08-10 10:09:06
【问题描述】：
我用selenium和scrapy来报废一个网站，selenium firefox窗口在一个页面停了一会儿（我想超过一分钟）。
我不知道它什么时候停止所以我用control+c来停止它。
我又报废了。这一次，效果很好。
但我仍然不知道为什么它第一次卡在一个页面上。
因为我将 selenium 超时设置为 20 秒self.driver.implicitly_wait(20)
我认为问题出在scrapy上。
scrapy 抓不到数据会停止吗？多长时间？
如何设置scrapy超时让它在卡住时找到下一个要捕获的数据？？
【问题讨论】：
-
doc.scrapy.org/en/latest/topics/… 检查此页面。可能你也可以设置 RETRY_ENABLED = False 并设置 DOWNLOAD_TIMEOUT。