我可以让一个组的所有消费者消费来自 kafka 主题的所有分区的消息吗？

Question

假设在 Kafka 中，我有一个主题“A”的 4 个分区，并且我有 20 个消费者组“AC”的消费者。我不需要任何排序，但我想通过扩展我的消费者实例来更快地处理消息。请注意，所有消息都是独立的，可以独立处理。

我查看了消费者配置partition.assignment.strategy，但不确定是否可以实现消费者到分区的动态分配，具体取决于消息可用性。

Answer 1

一个分区被分配给组中的一个消费者。在您的情况下，您目前在 20 上只有 4 个正在工作的消费者。如果您想要更多分配的消费者，则必须增加分区数。