如何在消费者组内对 Kafka 消费者进行负载平衡

Question

场景

• 同一消费者组中的 10 个 kafka 消费者。
• Kafka 有 10 个分区 => 这意味着每个分区都会自动分配给组内的单个使用者。
• 消息以循环方式发送到分区。
• 有时，处理一条消息比处理其他消息需要更长的时间。
• 在这种情况下，下一条消息可能会分配给仍在忙于工作而有其他空闲消费者的消费者

问题

1. Kafka 是否支持自动向消费者空闲的分区发送消息的机制？
2. 如果不是，这种情况的常用方法是什么？

Answer 1

消费仅基于分配，而不是负载；此类信息不会反馈给小组协调员。另外，根据负载不断地改组可能会导致频繁的组重新平衡，从而导致消耗更慢