1 个集群中复制因子 = 3 的 5 个代理上的 kafka 主题的最佳分区数答案

【问题标题】：Optimal number of partition for kafka topic on 5 brokers with replication factor=3 in 1 cluster1 个集群中复制因子 = 3 的 5 个代理上的 kafka 主题的最佳分区数
【发布时间】：2017-08-06 22:28:45
【问题描述】：

什么是最佳编号。具有 5 个代理且复制因子 = 3 的主题的分区？该集群中总共只有 6 个主题。

每个代理运行的机器配置如下。

Memory=16gb
Porcessor= Octacore, Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz

除了为每个主题打开文件 1000 个分区之外还有其他挑战吗？？

【问题讨论】：

这篇博文应该会有所帮助：confluent.io/blog/…
感谢 Mathias，这很有帮助。根据文章，我应该适合 1500 个分区。 “根据经验，如果您关心延迟，最好将每个代理的分区数限制为 100 xbxr，其中 b 是 Kafka 集群中的代理数，r 是复制因子”跨度>

标签： apache-kafka

【解决方案1】：

从 Kafka 1.1.0 开始，建议每个代理最多有 4'000 个分区，每个集群最多有 200'000 个分区。阅读更多here。

请注意，即使您可以创建大量分区，但这并不意味着您的硬件能够支持它。确保根据负载扩展集群硬件（CPU、RAM、HDD 等）。

【讨论】：