使用 Scrapy 以我们想要的任何深度抓取链接到网站的所有页面

Question

我很想知道是否有可能以任意深度抓取网站上的所有页面和链接，即使在跟踪几个链接后顶部 URL 发生了变化？这是一个例子：

热门网址：www.topURL.com
有 3 个链接：www.topURL.com/link1、www.topURL.com/link2 和 www.topURL.com/link3

然后，如果我们点击 www.topURL.com/link1，它会将我们带到一个本身有的页面
上面有 2 个链接：www.topURL.com/link4 和 www.topURL.com/link5

但如果我们点击 www.topURL.com/link4，它会将我们带到一个包含以下 2 个链接的页面：www.anotherURL.com/link1 和 www.thirdURL.com/link1

scrapy 或任何 python 爬虫/蜘蛛可以从 www.topURL.com 开始，然后跟随链接并最终在 www.thirdURL.com/link1 上吗？

它的深度有限制吗？ 有没有代码示例告诉我如何做到这一点？

感谢您的帮助。

Answer 1

看看scrapy的CrawlSpider spider class

CrawlSpider 是最常用的爬取常规网站的蜘蛛，因为它通过定义一组规则为跟踪链接提供了一种方便的机制。

要实现您的目标，您只需设置非常基本的规则：

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # Extract and follow all links!
        Rule(LinkExtractor(callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        self.log('crawling'.format(response.url))

上面的爬虫会爬取网站上每个匹配allowed_domains的url，并回调到parse_item。
需要注意的是默认LinkeExtractor会忽略媒体页面（如pdf、mp4等）

为了扩展深度主题，scrapy 确实有深度限制设置，但默认设置为 0（又名无限深度）
https://doc.scrapy.org/en/0.9/topics/settings.html#depth-limit

# settings.py
DEPTH_LIMIT = 0

默认情况下，scrapy 也会首先抓取深度，但如果您想要更快的覆盖广度，则可能会改善这一点：https://doc.scrapy.org/en/0.9/topics/settings.html#depth-limit

# settings.py
SCHEDULER_ORDER = 'BFO'