如何强制scrapy抓取重复的url？

Question

我正在学习Scrapy一个网络爬虫框架。
默认情况下，它不会抓取重复的 url 或 scrapy 已经抓取的 url。

如何让Scrapy抓取重复的url或者已经抓取的url？
我试图在互联网上查找，但找不到相关帮助。

我从Scrapy - Spider crawls duplicate urls 找到了DUPEFILTER_CLASS = RFPDupeFilter 和SgmlLinkExtractor，但这个问题与我正在寻找的相反

Answer 1

您可能正在寻找 Request() 上的 dont_filter=True 参数。 见http://doc.scrapy.org/en/latest/topics/request-response.html#request-objects

Answer 2

更优雅的解决方案是完全禁用重复过滤器：

# settings.py
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

这样您就不必用dont_filter=True 将所有请求创建代码弄乱了。另一个副作用：这只会禁用重复过滤，而不会禁用任何其他过滤器，例如异地过滤。

如果您想在项目中仅对多个蜘蛛中的一个或几个选择性地使用此设置，您可以在蜘蛛实现中通过custom_settings 进行设置：

class MySpider(scrapy.Spider):
    name = 'myspider'

    custom_settings = {
        'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter',
    }