使用 Nifi 将文件从 SFTP 服务器复制到 HDFS答案

【问题标题】：Copy files from SFTP server to HDFS using Nifi使用 Nifi 将文件从 SFTP 服务器复制到 HDFS
【发布时间】：2019-01-09 21:33:49
【问题描述】：

我正在尝试从 SFTP 服务器加载包含 225 GB（文件数 ~1,75,000）的海量数据并将数据复制到 HDFS。

为了实现上述场景，我们使用了 2 个处理器。

已配置的处理器 -> 递归搜索 = true ;使用自然排序 = true ;远程轮询批量大小 = 5000；并发任务 = 3

2.PutHDFS（将数据推送到HDFS）

已配置处理器 -> 并发任务 = 3；冲突解决策略 = 替换； Hadoop 配置资源；目录

但是一段时间后，数据复制会停止，并且它的大小在 HDFS 中没有更新。当我在 GetSFTP 配置设置中将 Remote Poll Batch Size 设置为 5000 -> 推送到 HDFS 的总数据为 6.4 GB，设置为 20000 -> 推送到 HDFS 的总数据为 25 GB

但我似乎无法弄清楚我做错了什么。

【问题讨论】：

【解决方案1】：

确保您有 scheduled GetSFTP processor 可以基于 Timer Drivern（或）Cron Driven 运行。

理想的解决方案是使用 ListSFTP + FetchSFTP 处理器而不是 GetSFTP 处理器。

请参阅this 链接以配置/使用 List+Fetch sftp 处理器。

【讨论】：

感谢@Shu，您的回复。我们也使用过（ListSFTP + FetchSFTP 处理器），但 ListSFTP 仅需要 40 多分钟才能完成文件列表，因为需要传输 225 GB 的数据。那么，我们可以做些什么来减少使用 ListSFTP 列出文件的时间呢？
@Deepanshu 尝试增加 List 中并发任务的数量并获取处理器..!!
在 listSFTP 中我们如何增加并发任务值，因为在 listSFTP 中，我们无法编辑 listSFTP 并发任务值，而且我们已经将 fetchSFTP 并发任务值增加到 10。