【发布时间】:2016-10-03 16:40:47
【问题描述】:
我有一个抓取网站的 Scrapy Spider,该网站需要刷新令牌才能访问它们。
def get_ad(self, response):
temp_dict = AppextItem()
try:
Selector(response).xpath('//div[@class="messagebox"]').extract()[0]
print("Captcha found when scraping ID "+ response.meta['id'] + " LINK: "+response.meta['link'])
self.p_token = ''
return Request(url = url_, callback=self.get_p_token, method = "GET",priority=1, meta = response.meta)
except Exception:
print("Captcha was not found")
我有一个get_p_token 方法可以刷新令牌并分配给self.p_token
找到验证码时调用get_p_token,但问题是,其他请求继续执行。
我希望如果找到验证码,在get_p_token 的执行完成之前不要发出下一个请求。
我有priority=1,但这无济于事。
附注:
实际上,该令牌被传递给每个 URL,这就是为什么我想等到找到新令牌,然后抓取其余 URL。
【问题讨论】:
标签: python scrapy screen-scraping scrapy-spider