来自 NiFi 的 Storm HDFS 锁定文件

【问题标题】：Storm HDFS locking file from NiFi来自 NiFi 的 Storm HDFS 锁定文件
【发布时间】：2018-09-17 15:41:38
【问题描述】：

我正在尝试使用storm HDFS spout，我让Apache Nifi 将文件移动到storm 正在侦听的HDFS 目录，但是一旦apache nifi 开始移动文件，storm 就会感觉到并开始处理，注意到文件没有完全被移动了。

我尝试使用 Storm 端的 conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix) 和 apache nifi updateAttribute 将文件重命名为 .ignore 我需要在完全移动后再次重命名文件，我该如何实现？还是有其他方法？

【问题讨论】：

【解决方案1】：

写入 HDFS 时，NiFi 将写入文件名以“.foo.txt”开头包含点的文件，当写入操作完成时，它将重命名为不带点的名称，如“foo.txt”。文本文件”。因此，如果 Storm 有办法忽略前缀，那么您应该能够忽略以点开头的任何内容。

【讨论】：

storm 有后缀忽略，我可以从 NIFI 端更改它吗？
不，这是 NiFi 中处理器代码的一部分，无法更改，如果 Storm 无法忽略前缀，那么您可能需要采用不同的方法写入 dir1风暴正在观看 dir2，然后在 PutHDFS 之后使用 MoveHDFS 从 dir1 移动到 dir2
似乎在 linux 中添加了“.”在文件名隐藏之前，当我再次尝试时它工作正常