【发布时间】:2018-11-10 14:12:19
【问题描述】:
如果响应状态码是 440,scrapy 有没有办法重复请求?
有时我试图抓取的服务器会响应 440 代码,而我无法抓取数据。
非常感谢!
【问题讨论】:
标签: python request scrapy web-crawler
如果响应状态码是 440,scrapy 有没有办法重复请求?
有时我试图抓取的服务器会响应 440 代码,而我无法抓取数据。
非常感谢!
【问题讨论】:
标签: python request scrapy web-crawler
基于scrapy documentation,您可以添加和配置RetryMiddleware 以按照您想要的方式运行。
您要更改的设置是:RETRY_TIMES 和 RETRY_HTTP_CODES。特别是第二个默认值为:[500, 502, 503, 504, 408],因此您只需将440 添加到列表中。
查看更多关于中间件的详细信息here
【讨论】: