Kafka 镜像找不到 Set 的领导者（ArrayIndexOutOfBoundsException：11）答案

【问题标题】：Kafka mirroring Failed to find leader for Set (ArrayIndexOutOfBoundsException: 11)Kafka 镜像找不到 Set 的领导者（ArrayIndexOutOfBoundsException：11）
【发布时间】：2017-07-12 22:10:16
【问题描述】：

我正在尝试在两个运行版本 0.8.2.1 的 AWS Kafka/Zookeeper 集群之间镜像 Kafka 数据。

我可以从目标集群 Kafka 实例、列表主题等访问源集群 Zookeeper。但是，当尝试运行此命令时：

/opt/kafka/bin/kafka-run-class.sh kafka.tools.MirrorMaker 
                                  --consumer.config /opt/kafka/config/mirror-consumer.properties 
                                  --num.streams 1 
                                  --producer.config /opt/kafka/config/mirror-producer.properties 
                                  --whitelist=".*"

我收到以下错误：

WARN Fetching topic metadata with correlation id 0 for topics [...] from broker [...] failed (kafka.client.ClientUtils$)
java.lang.ArrayIndexOutOfBoundsException: 11
    at kafka.api.TopicMetadata$$anonfun$readFrom$1.apply$mcVI$sp(TopicMetadata.scala:38)
    at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:78)
    at kafka.api.TopicMetadata$.readFrom(TopicMetadata.scala:36)

调试此错误的最佳方法是什么？我在网上阅读了几篇文章，但它们指出了一系列原因，从网络连接到磁盘空间问题。非常感谢您在这件事上的帮助。

【问题讨论】：

标签： amazon-web-services apache-kafka apache-zookeeper

【解决方案1】：

显然 Kafka 0.8.2.1 版本中存在一个自 2015 年以来未修复的严重错误： https://issues.apache.org/jira/browse/KAFKA-2082 “由于领导者不是本地分区而失败”

看起来没有办法解决这个问题，除非将 Kafka 升级到最新版本。根据我在网上找到的其他帖子，看起来 Kafka 镜像在不同版本的 Kafka 之间不起作用，所以这是另一件需要考虑的事情。

【讨论】：