1、通用爬虫框架：
选取种子URL-》放入待抓取URL队列-》下载网页形成网页库-》已抓取URL队列-》抽取URL放入待抓取URL队列末尾
已下载网页集合 == 已过期网页集合 == 待下载网页集合 == 可知网页集合 == 不可知网页集合
2、禁抓协议：爬虫禁抓协议（robot.txt） + 网页禁抓协议（html中嵌入<meta name=\'robots\'） 两类
3、衡量标准：网页覆盖率、网页时新性、网页重要性
4、抓取策略：宽度优先遍历策略、非完全pagerank策略、OPIC策略、大站优先策略
5、网页更新策略：历史参考策略、用户体验策略、聚类抽样策略
6、暗网抓取：百度『aladdin』 google『富含信息查询模板+ISIT算法』
7、分布式集群爬虫：主从式、对等式（利用一致性hash算法）