【问题标题】:What is Kafka Partition Rebalancing expected time?Kafka Partition Rebalancing 的预期时间是多少?
【发布时间】:2021-06-04 20:06:45
【问题描述】:

当新的消费者加入组时,分区重新平衡需要多长时间? 哪些因素会影响这一点?

在我的理解中,这些因素起到了作用:

  1. 消费者需要完成他们上次轮询的数据的处理。
  2. Coordinator 等待 Consumer 发送 JoinGroup 请求 - 等待多长时间?
  3. 消费者发送 SyncGroup 请求(接收 JoinGroup 响应和发送 SyncGroup 请求之间是否有延迟?)

在正常情况下,假设消费者立即处理数据,预计分区重新平衡需要多长时间?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:
    1. 协调器最多等待 rebalance.timeout.ms(默认为 1 分钟)。如果消费者在此期间没有加入,则认为它已死亡。但如果所有消费者在此之前重新加入,协调器将不会再等待(我的假设)。
    2. 普通消费者在收到 JoinGroup 响应后立即发送同步组。领导者需要更多时间(执行分区分配逻辑)。

    来源: https://www.confluent.io/online-talks/everything-you-always-wanted-to-know-about-kafkas-rebalance-protocol-but-were-afraid-to-ask-on-demand/

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-02-16
      • 1970-01-01
      • 2013-09-30
      • 1970-01-01
      • 1970-01-01
      • 2018-06-17
      相关资源
      最近更新 更多