【发布时间】:2018-08-22 10:45:12
【问题描述】:
我正在抓取并且我正在处理的页面具有连续的页面 ID。 没有可供爬虫跟踪的“下一页”等链接。
所以,我想生成一个以
开头的数字列表00000001
以
结尾00013099
但是我无法编写一个表达/理解来捕捉这一点。非常感谢您的帮助!
谢谢!
【问题讨论】:
我正在抓取并且我正在处理的页面具有连续的页面 ID。 没有可供爬虫跟踪的“下一页”等链接。
所以,我想生成一个以
开头的数字列表00000001
以
结尾00013099
但是我无法编写一个表达/理解来捕捉这一点。非常感谢您的帮助!
谢谢!
【问题讨论】:
Scrapy 的response.follow(href, callback) 不仅适用于从页面中抓取的实际href,还适用于自动生成的href...只需使用for cicle,然后通过字符串连接生成链接,并将其传递给follow。
【讨论】: