【问题标题】:ConsumeKafkaRecord on nifi cluster optimization在 nifi 集群优化上使用KafkaRecord
【发布时间】:2020-08-09 12:07:00
【问题描述】:

我在 nifi 中使用 3 个节点集群,有 3 个动物园管理员。 一般流程是 -> -> kafka 消费是否应该只在主节点上运行,以防止每隔几秒重新平衡一次组?

【问题讨论】:

    标签: apache-kafka apache-nifi apache-zookeeper


    【解决方案1】:

    不,kafka 消耗处理器在集群中运行良好。 juste make sur 为您的连接器定义相同的 group.id。

    如果您有再平衡问题,您应该首先查看您的 kafka 集群和 nifi 稳定性。

    【讨论】:

    • 是的。我想这就是问题所在。我们停止使用集群,它解决了问题。
    【解决方案2】:

    我已经开发了具有相似集群的完全相同的流程,可能是它的处理部分更复杂。

    我有 3 个节点的 nifi 集群,消费者在具有相同组 ID 的所有 3 个节点上运行。这有助于将处理成本分配给所有节点,同时提供更好的性能。如果您遇到更多的再平衡,这可能是您的数据流中的另一个问题。

    【讨论】:

      猜你喜欢
      • 2014-02-08
      • 1970-01-01
      • 2019-07-15
      • 1970-01-01
      • 1970-01-01
      • 2018-11-11
      • 1970-01-01
      • 2013-05-10
      • 1970-01-01
      相关资源
      最近更新 更多