【问题标题】:Having one spider use items returned from another spider?让一只蜘蛛使用从另一只蜘蛛返回的物品?
【发布时间】:2012-10-02 21:18:55
【问题描述】:

所以我编写了一个蜘蛛,它从网页中提取某些所需的链接,并将 URL、链接文本和其他不一定包含在 <a> 标签本身中的信息放入每个链接的项目中。

我应该如何将此项目传递给另一个爬取该项目中提供的 URL 的蜘蛛?

【问题讨论】:

    标签: scrapy


    【解决方案1】:

    这个问题已经被问过很多次了。 以下是本网站上的一些链接,可以回答您的问题。 有些人直接回答它,即将项目传递给另一个函数,但你可能意识到你不需要那样做,所以链接了其他方法来展示什么是可能的。

    Using multiple spiders at in the project in Scrapy

    Scrapy - parse a page to extract items - then follow and store item url contents

    Scrapy: Follow link to get additional Item data?

    【讨论】:

    • 这些实际上都没有使用 2 个蜘蛛。如果第一个找到指向 csvs 的链接,第二个应该解析它们,我想为此使用 CSVSpider?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-02-20
    • 2015-04-03
    相关资源
    最近更新 更多