分区的重新分配无限陷入“仍在进行中”状态答案

【问题标题】：Re-assignment of Partition gets infinitely stuck in "Still in progress" state分区的重新分配无限陷入“仍在进行中”状态
【发布时间】：2021-09-17 21:02:58
【问题描述】：

我们有 6 个节点的 kafka 集群。 6台机器中，3台同时拥有Kafka+zookeeper，剩下的3台只有kafka。最近，我们又增加了一个 kafka 节点。在将分区重新分配给所有节点（包括较新的节点）时，我们执行了以下命令：

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --execute --zookeeper localhost:2181

但是，当我们使用以下命令验证状态时，

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181

我们得到以下输出。部分分区正在重新分配中。

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181 | grep 'progress'
Reassignment of partition [topic-name,854] is still in progress
Reassignment of partition [topic-name,674] is still in progress
Reassignment of partition [topic-name,944] is still in progress
Reassignment of partition [topic-name,404] is still in progress
Reassignment of partition [topic-name,314] is still in progress
Reassignment of partition [topic-name,853] is still in progress
Reassignment of partition [prom-metrics,403] is still in progress
Reassignment of partition [prom-metrics,134] is still in progress

没有办法：

取消正在进行的分区重新分配。
回滚也是不可能的。（当我们尝试这样做时，它会显示 “有一个现有的任务正在运行。”

Kafka 版本：0.10.1.1

平台：Amazon Linux 1 x86_64 GNU/Linux

谁能帮我解决这个问题？

【问题讨论】：

标签： apache-kafka apache-zookeeper

【解决方案1】：

您可以通过删除 zk 节点来取消正在进行的分区重新分配：删除 /admin/reassign_partitions。然后你可以回滚或使用另一个 json 文件重新分配。

【讨论】：

【解决方案2】：

就我而言，要取消当前分区重新分配并能够执行另一次重新分配，您应该：

删除/admin/reassign_partitionszk节点
删除/controllerzk节点重新选举主控制器

【讨论】：