Scrapy - 如何避免分页黑洞？

Question

我最近正在研究一个网站蜘蛛，并注意到它正在请求无限数量的页面，因为网站没有将其分页编码为永远停止。

因此，虽然他们只有几页内容，但仍会生成下一个链接和 url ...?page=400、...?page=401 等。

内容没有改变，只是 URL。当内容停止变化时，有没有办法让 Scrapy 停止跟随分页？或者我可以编写自定义代码。

Answer 1

如果内容没有变化，您可以将当前页面的内容与上一页的内容进行比较，如果相同，则中断抓取。

例如：

def parse(self, response):
    product_urls = response.xpath("//a/@href").extract()
    # check last page
    if response.meta.get('prev_urls') == product_urls:
        logging.info('reached the last page at: {}'.format(response.url))
        return  # reached the last page
    # crawl products
    for url in product_urls:
        yield Request(url, self.parse_product)
    # create next page url
    next_page = response.meta.get('page', 0) + 1
    next_url = re.sub('page=\d+', 'page={}'.format(next_page), response.url)
    # now for the next page carry some data in meta
    yield Request(next_url, 
                  meta={'prev_urls': product_urls,
                        'page': next_page}