Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

拓扑图

Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

技术选型

Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

exec-memory-avro.conf

Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

avro-memory-logger.conf

Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

启动步骤,先启动监控端

Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

日志收集过程分析

1、监控机器A一个文件,(当访问主站会有用户行为日志记录到access.log中)

2、avro sink把新产生的日志输出到对应的avro source指定的hostname和port

3、通过avro source对应的agent将日志输出到控制台(kafka)

分布式实现(两台机器)

Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

Spark Streaming实时流处理项目实战笔记—— Flume实战案例(三)

相关文章: