Infi-chu:
http://www.cnblogs.com/Infi-chu/
一、网络爬虫的尺寸：
1.小规模，数据量小，爬取速度不敏感，Requests库，爬取网页
2.中规模，数据规模较大，爬取速度敏感，Scrapy库，爬取网站
3.大规模，大规模，搜索引擎，爬取速度很关键，定制开发，爬取全站
二、Robots协议：
1.含义Robots Exclusion Standard 网络爬虫排除标准
2.作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
3.形式：在网站根目录下的robots.txt文件
4.使用：
a.网络爬虫：自动或人工识别robots.txt，再进行内容爬取
b.约束性：可以不遵循，但要注意法律风险