两种爬虫模式比较：
1、requests和beautifulsoup都是库，scrapy是框架。
2、scrapy框架中可以加入requests和beautifulsoup。
3、scrapy基于twisted，性能是最大的优势。
4、scrapy方便扩展，提供了很多内置的功能。
5、scrapy内置的css和xpath selector非常方便，beautifulsoup最大的缺点就是慢。
爬虫能做什么？
1、搜索引擎---百度、谷歌、垂直搜索引擎。
2、推荐引擎---今日头条
3、机器学习数据样本
5、数据分析（如金融数据分析）、舆情分析等。
网页分类：
常见类型的服务：
1、静态网页
2、动态网页
3、webservice（restapi）