平衡 Kafka 消费者

Question

假设我有 10 个分区用于 Kafka 中的给定主题。 在消费者之间自动负载平衡这 10 个分区的选项是什么？

我已阅读此帖子 https://stackoverflow.com/a/28580363/317384，但我不确定它是否涵盖了我正在寻找的内容，或者我只是没有得到它。

如果我为每个分区启动一个带有一个消费者的工作器，那么所有工作都将由该工作器消耗。

但是，如果我在其他地方启动同一个工人的另一个实例会发生什么？ 客户端库/Kafka 是否会以某种方式检测到这一点并重新平衡两个工作人员之间的负载，以便工作人员 1 上的一些活动消费者现在处于空闲状态，而工作人员 2 上的相同消费者变为活动状态？

我希望能够按需添加和删除工作人员，并将负载分散到这些工作人员之间，这可能吗？

例如 由此：

对此：

Answer 1

Kafka 消费者是消费者群体的一部分。一个组中有一个或多个消费者。每个分区被分配给一个消费者。分区是 Kafka 扩展的方式。如果您的消费者多于分区，那么您的一些消费者将处于空闲状态。如果您的分区多于消费者，则可能会将多个分区分配给单个消费者。

当新的消费者加入时，会发生重新平衡，并为新消费者分配一些先前分配给其他消费者的分区。在您的情况下，如果有 10 个分区都被一个消费者消费，而另一个消费者加入，则会进行重新平衡，之后，（通常）每个消费者将有 5 个分区。

值得注意的是，在重新平衡期间，消费者组“暂停”。当消费者优雅地离开时，或者领导者检测到消费者已经离开时，也会发生类似的事情。