【问题标题】:Scrapy: repeating request for 440 status codeScrapy:重复请求 440 状态码
【发布时间】:2018-11-10 14:12:19
【问题描述】:

如果响应状态码是 440,scrapy 有没有办法重复请求?

有时我试图抓取的服务器会响应 440 代码,而我无法抓取数据。

非常感谢!

【问题讨论】:

    标签: python request scrapy web-crawler


    【解决方案1】:

    基于scrapy documentation,您可以添加和配置RetryMiddleware 以按照您想要的方式运行。

    您要更改的设置是:RETRY_TIMESRETRY_HTTP_CODES。特别是第二个默认值为:[500, 502, 503, 504, 408],因此您只需将440 添加到列表中。

    查看更多关于中间件的详细信息here

    【讨论】:

      猜你喜欢
      • 2015-04-22
      • 2018-07-31
      • 1970-01-01
      • 1970-01-01
      • 2013-07-25
      • 2023-04-06
      • 2019-09-12
      • 1970-01-01
      • 2017-06-02
      相关资源
      最近更新 更多