由于专门用于检索信息的“机器人”程序象蜘蛛一样在网络间爬来爬去，因此，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。
爬虫的由来
随着网络的发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。
爬虫的定义
网络爬虫，即Web Spider，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛就是通过网页的链接地址来寻找网页的。如果把互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来，网络爬虫就是一个爬行程序，一个抓取网页的程序，网络爬虫的基本操作就是抓取网页。
爬虫的意义
*爬取数据 *机器学习 *分析并推送 *网络爬虫 *资源批量下载 *建立机器翻译的语料库
*数据监控 *搭建大数据的数据库 *社会计算方面的统计和预测
爬虫的作用
1、搜索引擎 - 百度，Google，垂直领域搜索引擎
2、推荐引擎 - 今日头条
3、机器学习的数据样本
4、数据分析（如金融数据分析）、舆情分析等
通用爬虫与聚焦爬虫的区别
*通用爬虫：目标、流程（爬取网页 - 存储数据 - 内容处理 - 提供检索/排名服务）、遵循Robots协议
*聚焦爬虫：是"面向特定主题需求"的一种网络爬虫程序，与通用搜索引擎爬虫的区别在于，聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取需求相关的网页信息。
各类爬虫框架比较
1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大
2、如果是定向爬取，且主要目标是解析js动态生成的内容
3、如果爬虫是涉及大规模网站爬取，效率、扩展性、可维护性等是必须考虑的因素
为什么Python适合写爬虫
1、抓取网页本身的接口
2、对数据库的操作能力（mysql，mongo等）
3、爬取效率
4、代码量
5、对页面解析能力
6、网页抓取后的处理（去重，过滤，清洗，保存）