1)案例需求:使用 Flume 监听整个目录的文件，并上传至 HDFS
2)需求分析:
实现步骤:
1.创建配置文件 flume-dir-hdfs.conf
创建一个文件
添加如下内容
2.启动监控文件夹命令
说明:在使用 Spooling Directory Source 时 不要在监控目录中创建并持续修改文件 上传完成的文件会以.COMPLETED 结尾 被监控文件夹每 500 毫秒扫描一次文件变动
-
向 upload 文件夹中添加文件
在/opt/module/flume 目录下创建 upload 文件夹
向 upload 文件夹中添加文件 -
查看 HDFS 上的数据
-
等待 1s，再次查询 upload 文件夹