切换到新一天的目录后，Flume 将 .tmp 文件留在 HDFS 中

Question

我正在使用 Flume 1.7.0 和 HDFS 接收器。我将 Flume 配置为将数据放在 HDFS 中的日期目录中，以便在新的一天到来时自动更改目录。问题是我将flume设置为根据文件大小（240MB）滚动，但是当目录更改时，flume每天都会留下.tmp文件。似乎在没有关闭未完成文件（小于 240MB）的情况下更改为新的一天的目录。

例如。如果我启动 3 个水槽代理。那么当flume agent切换到新目录20180411时，目录20180410会留下3个.tmp文件。

有没有办法让水槽在更改到新一天的目录之前关闭 .tmp 文件？谢谢大家帮助我。

Answer 1

您可以将hdfs.idleTimeout 添加到配置中，因此如果没有新事件添加到文件中，文件将被关闭，如documentation 所述

关闭非活动文件的超时时间（0 = 禁用自动关闭空闲文件）

注意数字是秒。至少要等几分钟。