Flume HDFS sink with Kafka source - 多个文件？答案

【问题标题】：Flume HDFS sink with Kafka source - multiple files?Flume HDFS sink with Kafka source - 多个文件？
【发布时间】：2019-08-31 13:04:51
【问题描述】：

Flume HDFS sink 配置如下：

tier1.sinks.sink1.hdfs.path = /project/mgd/ 
tier1.sinks.sink1.hdfs.filePrefix = EMA_LOG%Y%m%d 
tier1.sinks.sink1.hdfs.rollInterval = 86400 
#tier1.sinks.sink1.hdfs.rollInterval = 3600 
tier1.sinks.sink1.hdfs.fileSuffix = .json 
tier1.sinks.sink1.hdfs.writeFormat = Text 
tier1.sinks.sink1.hdfs.rollSize = 0 
tier1.sinks.sink1.hdfs.rollCount = 0 
tier1.sinks.sink1.hdfs.fileType = DataStream 
tier1.sinks.sink1.channel = channel1

每天生成三个 HDFS 文件 (rollInterval = 86400)。这是集群上配置的 Flume 代理数量还是配置为该特定 Flume 代理源的 Kafka 主题分区数量的结果？关于将这些文件合并为一个的任何建议？

【问题讨论】：

标签： apache-kafka hdfs flume

【解决方案1】：

如果您正在运行三个 Flume 代理，那么它将创建 3 个文件，如果您只需要一个文件，那么您只需要运行一个 Flume 代理。否则在它创建 3 个文件之后，您需要自己合并这些文件，在水槽外部。

【讨论】：