[scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown
不会显示更多重复项,
其实这个的问题是,CrawlSpider结合LinkExtractor\Rule,在提取链接与发链接的时候,出现了重复的连接,重复的请求,出现这个DEBUG
或者是yield scrapy.Request(xxxurl,callback=self.xxxx)中有重复的请求
其实scrapy自身是默认有过滤重复请求的
让这个DEBUG不出现,可以有 dont_filter=True,在Request中添加可以解决
yield scrapy.Request(xxxurl,callback=self.xxxx,dont_filter=True)
来源于:https://blog.csdn.net/sinat_41701878/article/details/80302357