【发布时间】:2020-11-13 17:37:33
【问题描述】:
我有一个蜘蛛,它在最初的几个步骤中从一个站点获取 cookie。我想获取 cookie,开始抓取,如果当前请求的 HTTP 状态 == 302,我想循环回 cookie 部分以刷新它们。如何在 scrapy shell 中将 HTTP 状态记录为变量,以添加“如果 http_status ==302,中断并返回步骤 1”?谢谢!
【问题讨论】:
标签: web-scraping scrapy scrapy-shell crawlera