日志分析处理步骤
- 数据采集 Flume：将web日志写入HDFS中
- 数据清洗： Spark、Hive、MapReduce或者其他分布式框架，去除不符合要求的数据，清洗完之后的数据可以存放在HDFS中
- 数据处理：按照需求，进行相应的业务统计和分析，使用Spark、Hive、MapReduce或者其他分布式框架，去除不符合要求的数据
- 处理结果的存放 结果可以存放在RDBMS或者Nosql数据库中
- 数据的可视化，饼图、柱状图、地图、折线图
相关文章：
猜你喜欢
相关资源
相似解决方案
热门标签