Kafka 重新平衡 - 将 Kafka 消费者分配到分区

Question

当新的 Kafka 消费者加入/离开消费者组时，Kafka 运行时会触发重新平衡过程，以便执行新的分区分配/映射到新的消费者集。关于再平衡过程，我想问三个问题：

(1) 除了已经实现的算法之外，是否可以以某种方式插入自定义的再平衡算法？

(2) 是否可以将外部变量传递给自定义算法？

(3) 除了已知情况（例如消费者离开、加入等）之外，是否可以动态且有选择地启动再平衡过程。

Answer 1

1. 是的，您可以使用partition.assignment.strategy 设置自定义分配算法。自定义类需要实现ConsumerPartitionAssignor。

2. assignor 可以执行任何必要的逻辑来从环境或其他地方检索值。

3. 从Kafka 2.6开始，可以使用enforceRebalance()触发一个。