【发布时间】:2012-10-02 21:18:55
【问题描述】:
所以我编写了一个蜘蛛,它从网页中提取某些所需的链接,并将 URL、链接文本和其他不一定包含在 <a> 标签本身中的信息放入每个链接的项目中。
我应该如何将此项目传递给另一个爬取该项目中提供的 URL 的蜘蛛?
【问题讨论】:
标签: scrapy
所以我编写了一个蜘蛛,它从网页中提取某些所需的链接,并将 URL、链接文本和其他不一定包含在 <a> 标签本身中的信息放入每个链接的项目中。
我应该如何将此项目传递给另一个爬取该项目中提供的 URL 的蜘蛛?
【问题讨论】:
标签: scrapy
这个问题已经被问过很多次了。 以下是本网站上的一些链接,可以回答您的问题。 有些人直接回答它,即将项目传递给另一个函数,但你可能意识到你不需要那样做,所以链接了其他方法来展示什么是可能的。
Using multiple spiders at in the project in Scrapy
Scrapy - parse a page to extract items - then follow and store item url contents
【讨论】: