Spring Kafka，使用主题模式订阅大量主题

Question

在使用 topicPattern 订阅 Kafka 主题时，Kafka 主题的数量和消费者实例之间的主题分布是否存在任何已知限制。

我们的用例是我们需要订阅大量主题（可能有几千个主题）。所有主题都遵循命名约定，并且只有 1 个分区。我们事先不知道主题名称列表，并且可以随时创建与该模式匹配的新主题。我们的消费者应该能够消费来自与模式匹配的所有主题的消息。

1. 我们是否对可以使用主题模式以这种方式订阅的主题数量有任何限制。

2. 我们能否扩大消费者实例的数量以读取更多主题

3. 主题是否会分布在所有正在运行的消费者实例中。在我们的本地测试中，观察到所有主题都由单个消费者读取，尽管有多个消费者实例并行运行。只有当服务消费者实例关闭时，主题才会被另一个实例选择（不分布在可用实例中）

所有提及的主题都是单分区主题。

Answer 1

1. 我认为没有硬性限制，但是...
2. 不；您无法在运行时更改并发，但您可以设置比需要更大的并发，这样您就会有空闲的消费者等待分配。
3. 您需要提供自定义分区分配器，或选择备用提供的分配器之一，例如RoundRobinAssignor 可能对你有用 https://kafka.apache.org/documentation/#consumerconfigs_partition.assignment.strategy