【问题标题】:How offset are affected when increasing the number of partition for one topic增加一个主题的分区数时偏移量如何影响
【发布时间】:2019-09-27 12:10:31
【问题描述】:

我有一个kafka topic,有4个partition,我想增加到8个partition。

我想知道

  1. 旧的 4 个分区中的数据是否会平均平衡到新创建的 4 个分区?
  2. 每个分区中的偏移量将如何受到影响,

我正在使用拉模式来消费数据,我需要知道这里的行为,以便我能够在分区数量发生变化时管理偏移量/找到要在我的代码中使用的正确偏移量。

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    增加分区时不会移动现有数据,因此偏移量不受影响。

    此外,生产者将需要重新启动以检测新分区并开始将数据放入其中。如果您的消息具有非空键,并且您希望从分区中按特定顺序发送消息,那么增加分区将暂时破坏该保证,直到来自前一个分区计数的所有旧消息都过期

    【讨论】:

      猜你喜欢
      • 2019-08-07
      • 1970-01-01
      • 2016-05-27
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-07-20
      • 2015-02-14
      • 2016-11-20
      相关资源
      最近更新 更多