【发布时间】:2016-11-14 10:19:47
【问题描述】:
我正在使用 Apache NiFi 将一些本地文件复制到 HDFS。
我创建了一个绑定到PutHDFS 处理器的GetFile 处理器。 GetFile 处理器递归地查询一个只读目录。我遇到的问题是文件被不断复制,例如,如果我在 HDFS 上删除复制的文件,那么它们很快就会重新出现。
在GetFile 处理器配置中,我将Keep Source File 设置为true,因为该目录是只读的,并且在documentation 中指定了只读目录和如果此参数设置为 false,则文件将被忽略:
如果为 true,则文件在复制到 内容存储库;这会导致文件被不断拾取 并且可用于测试目的。如果不保留原始 NiFi 将 需要对它从中提取的目录具有写权限,否则 它会忽略该文件。
是否可以简单地将每个文件复制一次?
【问题讨论】:
标签: apache-nifi