HDF 到 HDP 数据存储答案

【问题标题】：HDF to HDP data storeHDF 到 HDP 数据存储
【发布时间】：2016-10-28 06:20:36
【问题描述】：

我们有两个集群。一种是包含 Nifi 的 HDF 集群，另一种是包含 hdf、Hive 其他组件的 HDP 集群。我们正在从文件中读取数据并希望放置在 hdp 集群 hdfs 中。

任何人都可以指出有关此或一些示例的文档..

提前致谢

【问题讨论】：

【解决方案1】：

NiFi 的PutHDFS 处理器会将数据写入 HDFS。您可以使用 hdfs-site.xml 和 core-site.xml 文件对其进行配置。

有时，网络、安全或应用程序配置难以将文件从远程 NiFi 安全地写入 Hadoop 集群。一种常见的模式是使用两个 NiFi——一个 NiFi 收集、格式化和聚合记录，然后通过 NiFisite-to-site 协议传输到 Hadoop 集群内的第二个 NiFi。由于第二个 NiFi 位于 Hadoop 集群内，因此可以更轻松地将文件安全地写入 HDFS。

PutHDFS 功能在 NiFi Example Dataflow Templates 中，还演示了常见的相关活动，例如聚合数据、目录和文件命名以及 NiFi 站点到站点通信。

【讨论】：

感谢 James.. 目前我还没有遇到任何与网络相关的问题。