太多小文件 HDFS Sink Flume答案

【问题标题】：Too many small files HDFS Sink Flume太多小文件 HDFS Sink Flume
【发布时间】：2016-03-05 14:14:38
【问题描述】：

agent.sinks=hpd
agent.sinks.hpd.type=hdfs
agent.sinks.hpd.channel=memoryChannel
agent.sinks.hpd.hdfs.path=hdfs://master:9000/user/hduser/gde
agent.sinks.hpd.hdfs.fileType=DataStream
agent.sinks.hpd.hdfs.writeFormat=Text
agent.sinks.hpd.hdfs.rollSize=0
agent.sinks.hpd.hdfs.batchSize=1000
agent.sinks.hpd.hdfs.fileSuffix=.i  
agent.sinks.hpd.hdfs.rollCount=1000
agent.sinks.hpd.hdfs.rollInterval=0

我正在尝试使用 HDFS Sink 将事件写入 HDFS。并尝试了大小、计数和时间基准滚动，但没有一个按预期工作。它在 HDFS 中生成了太多的小文件，例如：

-rw-r--r--   2 hduser supergroup      11617 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832879.i
-rw-r--r--   2 hduser supergroup       1381 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832880.i
-rw-r--r--   2 hduser supergroup        553 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832881.i
-rw-r--r--   2 hduser supergroup       2212 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832882.i
-rw-r--r--   2 hduser supergroup       1379 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832883.i
-rw-r--r--   2 hduser supergroup       2762 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832884.i.tmp

请协助解决给定的问题。我正在使用水槽 1.6.0

~谢谢

【问题讨论】：

标签： hadoop hdfs flume

【解决方案1】：

我提供的配置都是正确的。这种行为背后的原因是 HDFS。我有 2 个数据节点，其中一个已关闭。因此，文件没有达到最低要求的复制。在 Flume 日志中也可以看到以下警告消息：

“检测到块复制不足。轮换文件。”

要消除此问题，可以选择以下任一解决方案：-

向上数据节点以实现所需的块复制，或
相应地设置属性hdfs.minBlockReplicas。

~谢谢

【讨论】：

【解决方案2】：

您现在正在滚动每 1000 个项目的文件。您可以尝试以下两种方法中的任何一种。

尝试将hdfs.rollCount 增加到更高的值，该值决定每个滚动文件中包含的事件数。
删除hdfs.rollCount 并将hdfs.rollInterval 设置为您希望滚动文件的时间间隔。说hdfs.rollInterval = 600 每 10 分钟滚动一次文件。

更多信息请参考Flume Documentation

【讨论】：