如何使用 Scrapy 创建用于 parse 和 parse_item 的中间件？

Question

我正在使用 Scrapy，并且希望能够检查我的数据库中的 should_continue 标志，如果它是错误的，则引发 CloseSpider 异常。但是，根据这里的文档：http://doc.scrapy.org/en/latest/topics/exceptions.html，CloseSpider 只能从parse 或parse_item 调用。

我可以在每个 parse 和 parse_item 中为每个蜘蛛添加一个函数，但这违背了 DRY 原则。我可以以某种方式创建一个始终在调用这些函数之前调用的 parse 和 parse_item 中间件吗？

我无法使用 DOWNLOADER_MIDDLEWARE 或 SPIDER_MIDDLEWARE 触发它，正确的方法是什么？

Answer 1

在引发CloseSpider 时，Scrapy 唯一要做的就是调用执行引擎的close_spider() 方法：https://github.com/scrapy/scrapy/blob/master/scrapy/core/scraper.py#L152-L153

您可以自己调用该方法来获得相同的结果。

这也是 CloseSpider 扩展的作用：https://github.com/scrapy/scrapy/blob/master/scrapy/extensions/closespider.py