第三百三十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

学习python-day015---转自Python分布式爬虫打造搜索引擎Scrapy精讲

网站树形结构

学习python-day015---转自Python分布式爬虫打造搜索引擎Scrapy精讲

深度优先

是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的
学习python-day015---转自Python分布式爬虫打造搜索引擎Scrapy精讲
学习python-day015---转自Python分布式爬虫打造搜索引擎Scrapy精讲

广度优先

是以层级来执行的,(列队方式实现)
学习python-day015---转自Python分布式爬虫打造搜索引擎Scrapy精讲
学习python-day015---转自Python分布式爬虫打造搜索引擎Scrapy精讲

相关文章: