Scrapy 重复过滤器可以在 Jobs 中保持不变吗？

Question

from scrapy.exceptions import DropItem

class DuplicatesPipeline(object):

    def __init__(self):
        self.ids_seen = set()

    def process_item(self, item, spider):
        if item['id'] in self.ids_seen:
            raise DropItem("Duplicate item found: %s" % item)
        else:
            self.ids_seen.add(item['id'])
            return item

以上代码来自Scrapy官网：http://doc.scrapy.org/en/latest/topics/item-pipeline.html 用于过滤重复项。

正如 Scrapy 文档所建议的那样，http://doc.scrapy.org/en/latest/topics/jobs.html 要暂停和恢复蜘蛛，我需要使用 Jobs 系统。

所以我很好奇 Scrapy Jobs 系统是否可以使重复过滤器在其目录中持久化。实现重复过滤器的方式非常简单，我对此表示怀疑。

Answer 1

您只需要实现您的管道，以便它读取JOBDIR 设置，并且在定义该设置时，您的管道：

1. 从JOBDIR 目录中的某个文件中读取self.ids_seen 的初始值。

2. 在运行时，它会在将新 ID 添加到集合时更新该文件。