Nifi在HDFS路径上移动前一天合并的json文件的文件答案

【问题标题】：Nifi Moving files on HDFS path for the previous day merged json fileNifi在HDFS路径上移动前一天合并的json文件的文件
【发布时间】：2019-10-16 17:59:13
【问题描述】：

我需要将前一天处理并合并的 json 文件移动到新的 hdfs 路径中。要求是递归搜索未处理的文件并移动待处理的未处理文件。

路径 1 -> /data/nifi/working/2019/10/source_2019_10_15.json --- 每日处理的文件合并在此路径下，并每天添加。路径 2 -> /data/nifi/incoming/ -- 代码应该搜索文件夹是否不存在，然后创建和移动文件，如果文件夹已经存在则移动文件。

目前，我正在使用 nifi flow -- ListHDFS->MoveHDFS 但无法实现。

需要帮助如何实现这一点。

感谢您的帮助。

【问题讨论】：

标签： apache-nifi hortonworks-data-platform cloudera-cdh mapr data-ingestion

【解决方案1】：

当前流程运行良好。

listhdfs->fethchdfs->updateattribute->puthdfs

在 listhdfs 中，设置消费前的最小文件年龄等待时间。这将允许进程递归搜索文件，并使用 updateattribute 重新创建文件夹并将文件处理到 /data/nifi/incoming/。

【讨论】：