Scrapy - 遇到重复项目时停止爬虫

Question

有很多网站我必须对页面进行硬编码（爬取项目后增加页码），其中一些网站在最后一页之后返回到第 1 页。例如，如果一个网站有 25 页的项目，则向第 26 页发送请求会产生第一页的响应。

此时 Scrapy 的重复过滤器工作正常并且不会抓取项目，但爬虫会继续运行。当像这样触发重复过滤器时，有什么方法可以停止抓取过程？

我不想像这样硬编码页码，因为它会随着时间而改变。

if self.page < 25:
    yield scrapy.Request(...)

Answer 1

1. 配置您的请求不被重复过滤器过滤掉（在请求构造函数中添加dont_filter=True）

2. 当response.url意外成为首页的URL时，使用请求回调停止爬虫（raise scrapy.exceptions.CloseSpider）