1)案例需求:实时监控 Hive 日志,并上传到 HDFS 中
2)需求分析:
Flume实时监控 单个追加文件
3)实现步骤:
1.Flume 要想将数据输出到 HDFS,须持有 Hadoop 相关 jar 包 拷贝到/opt/module/flume/lib 文件夹下。
Flume实时监控 单个追加文件
2.创建 flume-file-hdfs.conf 文件
创建文件
Flume实时监控 单个追加文件
注:要想读取 Linux 系统中的文件,就得按照 Linux 命令的规则执行命令。由于 Hive 日志 在 Linux 系统中所以读取文件的类型选择:exec 即 execute 执行的意思。表示执行 Linux 命令来读取文件。

添加如下内容
Flume实时监控 单个追加文件
Flume实时监控 单个追加文件
Flume实时监控 单个追加文件

3.运行 Flume
Flume实时监控 单个追加文件
4.开启 Hadoop 和 Hive 并操作 Hive 产生日志
Flume实时监控 单个追加文件
5.在 HDFS 上查看文件。
Flume实时监控 单个追加文件

相关文章: