Kafka 代理不同步随机分区

Question

我设置了 4 个 Kafka 代理。我的设置中每个主题中的每个分区的复制因子为 2。所有分区都是平衡的 - 领导者和追随者均匀分布

此设置已运行超过 6 个月

通过 Kafka Manager 监控设置时，我发现 8% 的分区复制不足。

所有这些分区都分配给同一组副本。并且分配给这组副本的每个分区都显示为复制不足

让我们将这组代理称为 [1,2] - 代理 1 和 2。所有这些分区的 ISR 现在是 [1]。

代理 1 和 2 均已启动并正在运行。所有其他分区都具有预期的 ISR 计数。

脚本 bin/kafka-topics.sh 还显示 8% 的分区处于复制状态。

但 jolokia 指标 - UnderReplicatedPartitions - 为 0

我需要帮助回答 -

1. 有问题吗？
2. 为什么 jolokia metric 和 kafka 控制台不一致？
3. 如何解决此问题？

Answer 1

关于“jolokia metric”我不能说什么，但我们也遇到了同样的情况，因为我们有一个“慢”的代理，它在复制数据方面落后了。

“慢”表示复制请求违反了代理范围的配置replica.lag.time.max.ms，默认为 10 秒，描述为：

“如果一个follower没有发送任何fetch请求或者至少在这个时间没有消耗到leader log end offset，leader就会从isr中移除follower”

稍微增加这个配置就解决了我们的问题。