【问题标题】:GetFile processor continually running in Apache NiFiGetFile 处理器在 Apache NiFi 中持续运行
【发布时间】:2016-11-14 10:19:47
【问题描述】:

我正在使用 Apache NiFi 将一些本地文件复制到 HDFS。 我创建了一个绑定到PutHDFS 处理器的GetFile 处理器。 GetFile 处理器递归地查询一个只读目录。我遇到的问题是文件被不断复制,例如,如果我在 HDFS 上删除复制的文件,那么它们很快就会重新出现。

在GetFile 处理器配置中,我将Keep Source File 设置为true,因为该目录是只读的,并且在documentation 中指定了只读目录和如果此参数设置为 false,则文件将被忽略:

如果为 true,则文件在复制到 内容存储库;这会导致文件被不断拾取 并且可用于测试目的。如果不保留原始 NiFi 将 需要对它从中提取的目录具有写权限,否则 它会忽略该文件。

是否可以简单地将每个文件复制一次?

【问题讨论】:

    标签: apache-nifi


    【解决方案1】:

    您可以使用ListFile 和FetchFile 处理器来执行此操作。 ListFile 将跟踪它到目前为止看到的文件,除非它们被修改,否则不会继续列出它们。确保将 FetchFile 中的 Completion Strategy 设置为“无”,以确保不会尝试移动/删除文件。

    【讨论】:

    • 谢谢,它成功了。有没有办法重置处理器,让它忘记已经导入的文件?
    • 是的,停止 ListFile 处理器,然后右键单击并选择查看状态。在“状态”对话框中,有一个指向“清除状态”的链接。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-09-21
    • 1970-01-01
    相关资源
    最近更新 更多