【发布时间】：2012-01-07 09:13:56
【问题描述】：
一些网站暂时给出 404 错误。但是我粘贴在浏览器上它可以工作。 如何告诉scrapy重试404状态码链接5次。
【问题讨论】：
-
也许您使用 scrapy 发出的请求过多，而网站只返回 404？
-
即使我每秒尝试 1 个请求，有时也会失败。有没有办法在scrapy中说重试404状态？
标签： scrapy
【发布时间】：2012-01-07 09:13:56
【问题描述】：
有两个 Scrapy 设置与您的需要相关：
-
RETRY_HTTP_CODES：您应该覆盖项目中的默认值以包含
404 -
RETRY_TIMES: 设置为
5
【讨论】：