Scrapy - 每个进程/作业的项目管道类的新实例？

Question

我使用 Scrapyd 来安排和启动蜘蛛作业。

在项目管道类中，我将作业特定变量设置到类中，其他蜘蛛/作业不应共享这些变量。

所以我的问题是，Scrapy/Scrapyd 是否为每个蜘蛛作业/进程创建管道类的新实例？

Answer 1

Scrapy/Scrapyd 为每个作业/进程创建管道、中间件等的新实例。

但是，在某些情况下，您的管道不能有静态（或每个类变量）数据可以通过 python class variable 从其他蜘蛛访问。