【问题标题】:Kafka Consumer startup error: Failed to add leader for partitions [calls,0] - NotLeaderForPartitionExceptionKafka Consumer 启动错误:无法为分区添加领导者 [calls,0] - NotLeaderForPartitionException
【发布时间】:2014-07-14 05:30:50
【问题描述】:

注意:这是针对旧版本的:我们正在运行 kafka_2.9.2-0.8.1

当尝试针对 windows7 上的现有主题运行 kafka-console-consumer.bat 时,我们收到“无法添加领导者”和“NotLeaderForPartition”异常

这里是命令行

set GROUP=group1234
kafka-console-consumer.bat --group %GROUP%  --zookeeper localhost:2181 --topic calls --from-beginning

以下是错误:

[2014-05-26 15:02:12,997] WARN [group1234_S80035683-SC01-1401141732400-98745e28-leader-finder-thread], Failed to add leader for partitions [calls,0];
will retry (kafka.consumer.ConsumerFetcherManager$LeaderFinderThread:89)
kafka.common.NotLeaderForPartitionException
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
        at java.lang.Class.newInstance(Class.java:374)
        at kafka.common.ErrorMapping$.exceptionFor(ErrorMapping.scala:73)
        at kafka.consumer.SimpleConsumer.earliestOrLatestOffset(SimpleConsumer.scala:160)
        at kafka.consumer.ConsumerFetcherThread.handleOffsetOutOfRange(ConsumerFetcherThread.scala:60)
        at kafka.server.AbstractFetcherThread$$anonfun$addPartitions$2.apply(AbstractFetcherThread.scala:179)
        at kafka.server.AbstractFetcherThread$$anonfun$addPartitions$2.apply(AbstractFetcherThread.scala:174)
        at scala.collection.immutable.Map$Map1.foreach(Map.scala:119)
        at kafka.server.AbstractFetcherThread.addPartitions(AbstractFetcherThread.scala:174)
        at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:86)
        at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:76)
        at scala.collection.immutable.Map$Map1.foreach(Map.scala:119)
        at kafka.server.AbstractFetcherManager.addFetcherForPartitions(AbstractFetcherManager.scala:76)

而且我们最终无法消费任何消息。

我们正在运行 kafka_2.9.2-0.8.1

注意:Zookeeper 看到消费者尝试连接:我进入 zkCli 并可以看到新的 group1234

[zk: localhost:2181(CONNECTED) 2] ls2 /consumers/group1234
[owners, ids]
cZxid = 0x123
ctime = Mon May 26 15:02:12 PDT 2014
mZxid = 0x123
mtime = Mon May 26 15:02:12 PDT 2014
pZxid = 0x128
cversion = 2
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

这里是关于 ZK 中请求的 calls 主题的信息:

[zk: localhost:2181(CONNECTED) 7] ls2 /brokers/topics/calls
[partitions]
cZxid = 0x18
ctime = Sat May 24 23:15:16 PDT 2014
mZxid = 0x18
mtime = Sat May 24 23:15:16 PDT 2014
pZxid = 0x1c
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 36
numChildren = 1

如果该主题有损坏,我只是将其放入 ZK 中,然后通过 kafka-topics.bat 重新创建它。这是新的 ZK 输出

[zk: localhost:2181(CONNECTED) 15] ls2 /brokers/topics/calls
[]
cZxid = 0x136
ctime = Mon May 26 16:02:51 PDT 2014
mZxid = 0x136
mtime = Mon May 26 16:02:51 PDT 2014
pZxid = 0x136
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 36
numChildren = 0

【问题讨论】:

  • 有没有运气解决这个问题?
  • 在 Kafka 上还有其他错误 - 有些不仅仅是在 Windows 上。例如。无法删除主题。我在 RabbitMQ 中重新编码。最终我们将回到 Kafka(当这些错误修复后)。
  • 投票结束,因为这个问题自 2014 年以来没有出现过任何活动,我们现在有 许多 Kafka 版本。
  • @DennisJaheruddin 我会同意关闭这个,因为你说的原因。 Kafka v 0.8.X 有 所以 很多严重的错误。等一下 !关闭没有适当的理由:它肯定不是题外话.. 只是太过时了。 Soo..我暂时撤回我的协议。您能否查看 Meta.stackoverflow 以了解与旧版本有关的问题的政策是什么?我的意思是这种情况经常发生..其他问题是否因此而关闭?老实说,我不知道。
  • @javadba 我对题外话的命名不满意。但在其中有一个“关于无法再重现的问题的问题”的子类别。我认为这是一个合理的选择,除非人们仍然遇到它。

标签: apache-zookeeper apache-kafka


【解决方案1】:

搜索显示,7 年后的今天,对于当前版本而言,这不再是一个已知问题。

还有多个补丁可以解决可能相同或不同的错误,几乎可以肯定其中一个修复了问题。

因此,对于任何人来说,唯一可行的解​​决方案似乎是升级到新版本。 (对于 Kafka、Zookeeper 以及 Windows。)

如果问题在当前相关版本中仍然存在,请提出一个新问题,因为根本原因不太可能相同。

【讨论】:

  • 嗨丹尼斯 - 这是处理涉及旧版本的问题方面的公平方法。我会奖励
猜你喜欢
  • 2015-12-22
  • 2021-11-08
  • 2016-03-19
  • 1970-01-01
  • 2021-10-12
  • 1970-01-01
  • 2020-07-05
  • 2020-02-01
  • 2020-03-12
相关资源
最近更新 更多