一个kafka主题可以处理多少个消费群体？答案

【问题标题】：how many consumer groups can a kafka topic handle?一个kafka主题可以处理多少个消费群体？
【发布时间】：2021-10-05 21:30:28
【问题描述】：

假设我有一个大约 10 个分区的 kafka 主题，我知道每个消费者组在任何给定时间都应该有 10 个消费者从该主题中读取，以实现最大的并行性。

但是，我想知道对于一个主题在任何给定时间点可以处理的消费者组的数量是否有任何直接规则。（我最近在一次采访中被问到这个问题）。据我所知，这取决于代理的配置，以便在任何给定时间点可以处理多少个连接。

但是，只是想知道在给定时间点最多可以扩展多少个消费者组（每个消费者组有 10 个消费者）？

【问题讨论】：

【解决方案1】：

在 Kafka 中，对于特定主题可以实例化的消费者组的数量没有明确限制。但是，您应该知道，消费者群体越多，对网络利用率的影响就越大。

【讨论】：

【解决方案2】：

正如上面所说，最多几千应该没问题。对于那些将登陆这里的人（像我一样）想知道成千上万的连接（例如将 IoT 设备直接连接到 kafka），kafka 似乎不是为此而设计的，至少根据this blog.

【讨论】：

【解决方案3】：

从概念上讲，您可以将消费者组视为单个逻辑订阅者这恰好由多个进程组成。作为一个多用户系统， Kafka 自然支持为给定主题设置任意数量的消费者组 无需复制数据（额外的消费者实际上非常便宜）。

如 Kafka 0.9 的 API 文档中所述，Kafka 可以支持给定主题的任意数量的消费者组。

【讨论】：