【问题标题】:get https response from scrapy shell从scrapy shell获取https响应
【发布时间】:2020-11-13 17:37:33
【问题描述】:

我有一个蜘蛛,它在最初的几个步骤中从一个站点获取 cookie。我想获取 cookie,开始抓取,如果当前请求的 HTTP 状态 == 302,我想循环回 cookie 部分以刷新它们。如何在 scrapy shell 中将 HTTP 状态记录为变量,以添加“如果 http_status ==302,中断并返回步骤 1”?谢谢!

【问题讨论】:

    标签: web-scraping scrapy scrapy-shell crawlera


    【解决方案1】:

    我是个白痴。如果有人遇到这种情况,您只需将变量(在我的情况下为 http_response)设置为 response.status。所以 http_response = response.status 返回 '200' 或其他取决于当前请求的状态。大声笑解决了。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2016-02-07
      • 1970-01-01
      • 2011-05-13
      • 1970-01-01
      • 2017-10-13
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多