1、案例需求
hadoop102 上的 Flume-1 监控文件/opt/module/data/group.log,
hadoop103 上的 Flume-2 监控某一个端口的数据流,
Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3,Flume-3 将最终数据打印到控 制台。

2、需求分析
Flume企业级案例 聚合
3、实现步骤:
准备工作,分发 Flume
Flume企业级案例 聚合
在 hadoop102、hadoop103 以及 hadoop104 的/opt/module/flume/job 目录下创建一个 group3 文件夹。
Flume企业级案例 聚合
创建 flume1-logger-flume.conf
配置 Source 用于监控 hive.log 文件,配置 Sink 输出数据到下一级 Flume。
在 hadoop102 上编辑配置文件
Flume企业级案例 聚合
添加如下内容
Flume企业级案例 聚合
Flume企业级案例 聚合
2.创建 flume2-netcat-flume.conf
配置 Source 监控端口 44444 数据流,配置 Sink 数据到下一级 Flume:
在 hadoop103 上编辑配置文件
Flume企业级案例 聚合
添加如下内容
Flume企业级案例 聚合
3.创建 flume3-flume-logger.conf
配置 source 用于接收 flume1 与 flume2 发送过来的数据流,最终合并后 sink 到控制台。 在 hadoop104 上编辑配置文件
Flume企业级案例 聚合
添加如下内容
Flume企业级案例 聚合
Flume企业级案例 聚合
4.执行配置文件
分别开启对应配置文件:flume3-flume-logger.conf,flume2-netcat-flume.conf,flume1- logger-flume.conf。
Flume企业级案例 聚合
5.在 hadoop103 上向/opt/module 目录下的 group.log 追加内容
Flume企业级案例 聚合
6.在 hadoop102 上向 44444 端口发送数据
Flume企业级案例 聚合
7.检查 hadoop104 上数据
Flume企业级案例 聚合

相关文章:

  • 2021-07-05
  • 2022-01-08
  • 2021-09-06
  • 2021-05-31
  • 2021-07-20
  • 2022-01-06
  • 2022-03-03
  • 2021-10-21
猜你喜欢
  • 2021-07-27
  • 2021-12-04
  • 2021-11-27
  • 2021-08-06
  • 2022-12-23
  • 2022-01-17
  • 2021-08-14
相关资源
相似解决方案