【问题标题】:Wait for a Request to complete - Python Scrapy等待请求完成 - Python Scrapy
【发布时间】:2016-10-03 16:40:47
【问题描述】:

我有一个抓取网站的 Scrapy Spider,该网站需要刷新令牌才能访问它们。

def get_ad(self, response):
    temp_dict = AppextItem()
    try:
        Selector(response).xpath('//div[@class="messagebox"]').extract()[0]
        print("Captcha found when scraping ID "+ response.meta['id'] + " LINK: "+response.meta['link'])
        self.p_token = ''

        return Request(url = url_, callback=self.get_p_token, method = "GET",priority=1, meta = response.meta)

    except Exception:
        print("Captcha was not found")

我有一个get_p_token 方法可以刷新令牌并分配给self.p_token

找到验证码时调用get_p_token,但问题是,其他请求继续执行。

我希望如果找到验证码,在get_p_token 的执行完成之前不要发出下一个请求。

我有priority=1,但这无济于事。

HERE is full code of Spider

附注:

实际上,该令牌被传递给每个 URL,这就是为什么我想等到找到新令牌,然后抓取其余 URL。

【问题讨论】:

    标签: python scrapy screen-scraping scrapy-spider


    【解决方案1】:

    您应该将 CAPTCHA 解决逻辑实现为 middleware。请参阅captcha-middleware 获取灵感。

    中间件应负责为请求分配正确的令牌(来自process_request())并检测验证码提示(来自process_response())。

    在中间件中,您可以使用除 Scrapy 之外的其他工具(例如 requests)以同步方式执行 CAPTCHA 解决所需的请求,从而防止新请求开始直到完成。

    当然,任何已经触发的并行请求都已经开始,因此在技术上可以发送一些请求而无需更新令牌。但是,这些应该自动重试。您可以配置您的中间件,以确保您的中间件与重试中间件很好地配合使用,从而在重试时更新这些请求的令牌。

    【讨论】:

      【解决方案2】:

      这就是我将继续处理它的方式:

      def get_p_token(self, response):
          # generate token
          ...
          yield Request(url = response.url, callback=self.no_captcha, method = "GET",priority=1, meta = response.meta, dont_filter=True)
      
      
      def get_ad(self, response):
          temp_dict = AppextItem()
          try:
              Selector(response).xpath('//div[@class="messagebox"]').extract()[0]
              print("Captcha found when scraping ID "+ response.meta['id'] + " LINK: "+response.meta['link'])
              self.p_token = ''
      
              yield Request(url = url_, callback=self.get_p_token, method = "GET",priority=1, meta = response.meta)
      
          except Exception:
              print("Captcha was not found")
              yield Request(url = url_, callback=self.no_captcha, method = "GET",priority=1, meta = response.meta)
      

      你没有提供工作代码,所以这只是问题的一个演示......这里的逻辑很简单:

      如果找到验证码,它会转到get_p_token,并且在生成令牌后,它会请求您之前请求的 url。如果没有找到验证码,它会照常进行。

      【讨论】:

      • 这是我已经在做的。但我在get_p_token 方法中调用相同的get_ad 方法...查看完整代码pastebin.com/X6Q4ZFp2
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2011-07-01
      • 1970-01-01
      • 1970-01-01
      • 2017-12-24
      • 1970-01-01
      • 2020-07-22
      • 2020-06-08
      相关资源
      最近更新 更多