Kafka broker 支持多少个分区

Question

Kafka 代理可以支持的 Kafka 分区的限制是多少？如果没有限制，每个 Broker 有多少个分区才能让我的集群转得又快又好？

Answer 1

从最近的博客200K+ partitions per cluster 来看，但这当然很大程度上取决于您运行的实际硬件，以及在此之前您对 Kafka 的维护程度。例如，我怀疑 Raspberry Pi 是否能够处理这么多负载。

每个代理并没有完全的硬性限制，但旧的经验法则是每个代理平均少于 1000 个分区将保持集群以最佳状态运行

那个博客说 4000 现在是个好数字

根据经验，我们建议每个代理最多有 4,000 个分区，每个集群最多有 200,000 个分区

Answer 2

记录到apache blog，Kafka broker 最多支持 4000 个分区，每个集群最多支持 200000 个分区的限制。