卡夫卡 ISR 缩小且不扩展答案

【问题标题】：Kafka ISR Shrinked and doesn't Expand卡夫卡 ISR 缩小且不扩展
【发布时间】：2023-03-22 01:32:01
【问题描述】：

我有一个由 3 个节点组成的 Kafka 集群，每个节点有 1 个 ZK 和 1 个 Broker。

Kafka version 0.10.1.1.

每个主题都有replication-factor=3 和min.insync.replicas=2。此后，我们通过发出 --describe 进行了检查，主题已成功创建，replication-factor 和 ISR 正确。

我可以看到一段时间后，少数主题将其 ISR 缩减为单一领导者。

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topic1
Topic:topic1  PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: topic1 Partition: 0    Leader: 1       Replicas: 1     Isr: 1

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topic2
Topic:topic2  PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: topic2 Partition: 0    Leader: 1       Replicas: 1     Isr: 1

当我连接到zk Shell。我可以看到所有节点都已启动，controller 在broker:2 中

/opt/kafka/bin/zookeeper-shell.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181
ls /brokers/ids
[0,1,2]

get /controller
{"version":1,"brokerid":2,"timestamp":"1531740996571"}

即使我尝试重新启动代理（仅代理或与动物园管理员一起），主题也不会扩展。

非常感谢任何建议！

【问题讨论】：

标签： apache-kafka apache-zookeeper kafka-topic

【解决方案1】：

查看主题的描述，看起来这些主题是使用复制因子 1 创建的：

ReplicationFactor:1

在代理配置中设置default.replication.factor=2 和min.insync.replicas=2 不会阻止创建复制因子=1 的主题。

要解决此问题，您可以使用kafka-reassign-partitions.sh 工具increase the replication factor 这些主题。

为防止这种情况发生，您可以使用 Create Topic 和 Alter Config 策略来拒绝具有无效复制因子的主题。

【讨论】：

谢谢。会检查。我检查了命令的history，--create 清楚地显示了replication-factor=3。
用于创建的命令：/opt/kafka/bin/kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181,zk3:2181 --replication-factor 3 --partitions 1 --config min.insync.replicas=2 --topic topic1
你能指导我一些 Create Topic Policy 和 Alter Config Policy 的用法吗？
这些在 0.10.1 中不可用。在 0.10.2 中添加了创建主题策略，在 0.11 中添加了更改配置。此外，仅在通过 Kafka Admin API 创建/更改主题时才使用策略。如果您有兴趣使用它们，请升级到较新的版本，检查我的答案中的 javadoc 链接，并阅读 kafka.apache.org/documentation/#brokerconfigs 中的 create.topic.policy.class.name 和 alter.config.policy.class.name 的配置说明