【问题标题】:Scrapy recursive scraping order with viewstates带有视图状态的 Scrapy 递归抓取顺序
【发布时间】:2020-06-13 03:49:10
【问题描述】:

我正在尝试使用 Scrapy 以递归方式抓取使用 ViewStates 构建的网站的搜索结果。所以我从一组关键字开始,少则两个:

key1, key2

那么每个关键词就有可能产生更多的关键词,以及返回需要解析的多页结果。这是通过蜘蛛 parse 函数的条件分支完成的,它产生带有新关键字或“下一页”指令的 scrapy.FormRequest 对象。

我的问题是订购。虽然 scrapy 声称它可以通过选项 'CONCURRENT_REQUESTS': 1 强制进入深度优先顺序,但这种递归爬行似乎并非如此。到目前为止,我一直看到在解析原始键时生成的任何新请求都发生在整个原始请求集之后。所以如果key1首先被执行并产生一个对key1.1的新请求,那么执行顺序是

key1
key2
key1.1

在我的特定用例中,这适用于新关键字,但该站点不会处理“下一页”请求,除非它们立即跟随第 1 页的请求。这使得 scrapy 在功能上对我来说毫无用处,除非我能弄清楚如何对这些请求执行抓取命令。优先级似乎也没有任何影响。

谁能给我这方面的指导?这是否超出了 Scrapy 的设计范围?

【问题讨论】:

    标签: python web-scraping scrapy viewstate


    【解决方案1】:

    priority= kwarg 旨在影响调度程序,让您通知 Scrapy 您的要求

    默认情况下,所有Requests 具有相同的优先级,所以Scrapy 只选择一个;但是,由于您需要立即执行下一页操作,因此您需要给它一个 priority=1000,这可以通过 response.follow(next_page_url, priority=1000) 或者当然,通过手动创建下一页 @987654327 来完成@ 和 yield 或 returning 它

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-09-15
      • 1970-01-01
      • 1970-01-01
      • 2014-04-01
      相关资源
      最近更新 更多