【问题标题】:Data Transfer approach between Nifi ClusterNifi集群之间的数据传输方法
【发布时间】:2018-03-24 13:24:37
【问题描述】:

我正在寻找不同 Nifi 集群之间的可靠数据传输方法。 我有两个 Nifi 集群 - 一个从源获取数据,另一个用于将数据推送到 Hive/HDFS。

我需要将数据从第一个 nifi 集群传输到另一个 nifi 集群。 nifi 中是否有可用的组件来执行此操作?

Nifi 集群 1 GetFile --> 发布到端口

Nifi 集群 2 从端口读取 --> 发布到 HDFS

谢谢

【问题讨论】:

    标签: hortonworks-data-platform apache-nifi


    【解决方案1】:

    Apache NiFi 提供用于在两个实例之间传输数据的站点到站点功能。你可以在这里阅读:

    https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#site-to-site

    【讨论】:

    • 谢谢布莱恩。我指的是您的帖子bryanbende.com/development/2016/08/30/… Nifi 2 集群中的输入端口是否需要位于 nifi 画布的根级别?它可以是任何进程组的一部分吗?
    • 目前站点到站点只能与根画布上的端口进行交互......考虑它的方式是端口通常让您连接到当前组之外的东西,所以当您位于进程组内,它连接到进程组,因此当您在根组上时,它连接到实例外部
    • 知道了..我希望您可以定义 Nifi 策略来限制对画布输入端口的访问。只有授权用户才能在该端口上发布任何数据。
    • 是的,应该显示在那个帖子中,有一个全局策略是针对谁可以检索集群的站点到站点详细信息,然后是针对谁可以推/拉到每个端口的策略/从那个端口
    猜你喜欢
    • 2015-09-27
    • 1970-01-01
    • 1970-01-01
    • 2022-11-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-04-30
    • 1970-01-01
    相关资源
    最近更新 更多