难点分析
网站采取反爬策略
解决方式：模拟浏览器
网站模板定期变动
解决方案： 不同配置文件配置不同网站的模板规则
数据库存储不同网站的模板规则
网站URL抓取失败
解决方案HttpClient 默认处理方式
Storm 实时解析失败日志，将失败URL重新加入抓取仓库，一般超过三次就放弃
网站频繁抓取IP被封
解决方案：购买代理IP库，随机获取IP抓取数据。
部署多个应用分别抓取，降低单节点频繁访问
设置每个页面抓取时间间隙，降低被封概率。
总体架构解析
数据流向
模块划分
各模块解读
数据采集模块
- 下载：HttpClient
- 解析：1）HTMLCleaner+Xpath 2) Jsoup 3) 正则表达式
- 接入：1）直接存储数据库 2）存储到HDFS
数据分析
一个MR一个jar
所有MR打包成为一个jar
提供启动脚本或者托管给job调度平台
报表前台
- 前台：Jquery + HightChart
- 后台： 查询服务
- 存储：Hbase数据库/MySQL数据库
数据监控与管理
- 监控： Ganglia、Zookeeper
- 运行维护：邮件提醒
- URL调度： Redis优先级队列
技术选型
采集
1. HttpClient
2. HTMLCleaner
3. Xpath
4. 正则表达式
存储
1. HBase
2. Redis
处理
1. solr/es
展示
1. SpringMVC
2. freemarker
3. Jquery+HightChart
部署方案
爬虫项目：多台服务器
网站爬虫分类URL定时项目： 一台服务器
Hbase数据库：集群
Solr服务器：集群
Redis服务器：集群
爬虫监控项目:一台服务器
Web项目：多台服务器
Zookeeper服务器：集群