【发布时间】:2020-06-13 03:49:10
【问题描述】:
我正在尝试使用 Scrapy 以递归方式抓取使用 ViewStates 构建的网站的搜索结果。所以我从一组关键字开始,少则两个:
key1, key2
那么每个关键词就有可能产生更多的关键词,以及返回需要解析的多页结果。这是通过蜘蛛 parse 函数的条件分支完成的,它产生带有新关键字或“下一页”指令的 scrapy.FormRequest 对象。
我的问题是订购。虽然 scrapy 声称它可以通过选项 'CONCURRENT_REQUESTS': 1 强制进入深度优先顺序,但这种递归爬行似乎并非如此。到目前为止,我一直看到在解析原始键时生成的任何新请求都发生在整个原始请求集之后。所以如果key1首先被执行并产生一个对key1.1的新请求,那么执行顺序是
key1
key2
key1.1
在我的特定用例中,这适用于新关键字,但该站点不会处理“下一页”请求,除非它们立即跟随第 1 页的请求。这使得 scrapy 在功能上对我来说毫无用处,除非我能弄清楚如何对这些请求执行抓取命令。优先级似乎也没有任何影响。
谁能给我这方面的指导?这是否超出了 Scrapy 的设计范围?
【问题讨论】:
标签: python web-scraping scrapy viewstate