【发布时间】：2021-03-13 19:47:05
【问题描述】：
我有一个项目需要从不同站点抓取数据。示例：我抓取了站点 1，然后检查了一些条件（检查 DB 等），如果这些条件为真，我需要为下一个站点运行另一个蜘蛛并传递在第一个站点上抓取的数据。哪种项目架构（蜘蛛和管道的组合）最适合这种情况？
【问题讨论】：
标签： scrapy
【发布时间】：2021-03-13 19:47:05
【问题描述】：
在 Scrapy 中从一个 Spider 发射另一个 Spider 是不可能的
我曾经有过这样的需求，我所做的是我使用ScrapyD，每当我需要启动另一个Spider时，我只需使用requests.get('to_your_scrapyd:6800/schedule.json?project=project&spider=spider')或scrapy.Request发送一个请求，新的Spider就会运行
【讨论】：