【问题标题】:Clustered NIFI, Only one node is working集群NIFI,只有一个节点在工作
【发布时间】:2017-01-17 22:30:20
【问题描述】:

我在具有两个节点的集群模式下使用 NIFI,我注意到只有一个节点可以完成所有工作。

知道为什么吗?我怎样才能让 nifi2 做一些数据流的处理?

【问题讨论】:

    标签: apache-nifi


    【解决方案1】:

    这取决于数据如何进入您的集群。作为数据流设计者,您有责任创建一种方法,允许在集群中对数据进行分区以进行处理。

    有关执行此操作的策略概述,请参阅此帖子:

    https://community.hortonworks.com/articles/16120/how-do-i-distribute-data-across-a-nifi-cluster.html

    【讨论】:

    • 我的用例非常简单我在 Nifi1 中创建了一个带有 HandleHTTPRequest 的 Web 服务,我尝试通过我的 Nifi1 和 Nifi2 分发该处理器成功时的流内容我的 HandleHttpRequest 仅在 NIFI1 上运行,所有另一个处理器在所有节点上运行,所以我认为 Nifi2 应该可以访问部分流内容,或者它不能那样工作?阅读文章后,我需要在我的 HDF 集群上方安装一个负载均衡器,并且在两个节点上运行 handleHttpRequest ?
    • 是的,如果您通过 HandleHttpRequest 提供 Web 服务,您可能希望在前面放置一个负载均衡器,并让您的客户发布到负载均衡器的 URL。一旦数据在给定节点上,数据仅在该节点上处理,除非您使用 ListHDFS 示例中显示的站点到站点返回自我方法,我认为这对您的用例没有意义.
    • 令人惊讶的是,HAproxy 真的很容易配置。谢谢
    猜你喜欢
    • 1970-01-01
    • 2013-04-24
    • 1970-01-01
    • 2021-02-25
    • 2018-07-19
    • 1970-01-01
    • 1970-01-01
    • 2017-08-15
    • 2021-06-22
    相关资源
    最近更新 更多