使用主题模式时负载均衡Kafka记录消耗

Question

如果使用相同消费者组 (group.id) 的两个进程订阅相同的 topicPattern - Kafka 是否会对两个进程之间已解决的主题进行负载平衡？

在我的例子中，大约有 400 个主题与该模式匹配，并且每个主题都有一个分区。我想知道我是否可以通过具有相同消费者组的不同进程对主题的消费进行负载平衡，但似乎只有一个进程处理所有主题。这是因为只有分区是负载平衡的 - 还是因为订阅使用了主题 pattern？

---

我做了一些更深入的调试。我的测试设置实际上不是两个进程，而是两个线程——我想这不重要。调试打印主题描述输出如下内容（IP 被混淆）：

(groupId=foo-bar-group, isSimpleConsumerGroup=false, 
  members=
   (memberId=KafkaTestApplication:KafkaTestApplication-1-20126d55-678d-46f5-bc73-3769db2c8901, 
     clientId=KafkaTestApplication:KafkaTestApplication-1, 
     host=/aa.bb.c.dd, 
     assignment=(topicPartitions= <all topics here>)),
   (memberId=KafkaTestApplication:KafkaTestApplication-2-8d34e81a-8f57-4d4e-bd9e-b56edc4e706c, 
     clientId=KafkaTestApplication:KafkaTestApplication-2,
     host=/aa.bb.c.dd, 
     assignment=(topicPartitions=)), 
     partitionAssignor=range, 
     state=Stable, 
     coordinator=aaa.bb.ccc.d:9092 (id: 9 rack: null)
)

我可以看到消费者组中有两个不同的成员，它们有两个不同的 clientId。尽管如此，所有主题都分配给了第一个消费者，而第二个消费者没有分配任何主题。我希望两位成员都能得到一些话题。两位成员每隔几秒就进行一次投票。

Answer 1

当同组的第二个进程启动时，该组应该重新平衡Topicpartition分配，是的。

但是，我没有任何订阅模式的经验，但我不认为它的工作方式与提供直接的主题列表不同

Answer 2

我终于找到了要改变什么来获得所需的主题/分区平衡。我必须设置 Consumer 属性

partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor

默认设置 (org.apache.kafka.clients.consumer.RangeAssignor) 不适用于我的设置。为什么将 here 解释为 cmets 中提到的 user152468。谢谢！