【发布时间】:2019-09-27 12:10:31
【问题描述】:
我有一个kafka topic,有4个partition,我想增加到8个partition。
我想知道
- 旧的 4 个分区中的数据是否会平均平衡到新创建的 4 个分区?
- 每个分区中的偏移量将如何受到影响,
我正在使用拉模式来消费数据,我需要知道这里的行为,以便我能够在分区数量发生变化时管理偏移量/找到要在我的代码中使用的正确偏移量。
【问题讨论】:
标签: apache-kafka
我有一个kafka topic,有4个partition,我想增加到8个partition。
我想知道
我正在使用拉模式来消费数据,我需要知道这里的行为,以便我能够在分区数量发生变化时管理偏移量/找到要在我的代码中使用的正确偏移量。
【问题讨论】:
标签: apache-kafka
增加分区时不会移动现有数据,因此偏移量不受影响。
此外,生产者将需要重新启动以检测新分区并开始将数据放入其中。如果您的消息具有非空键,并且您希望从分区中按特定顺序发送消息,那么增加分区将暂时破坏该保证,直到来自前一个分区计数的所有旧消息都过期
【讨论】: