【发布时间】:2014-07-14 05:30:50
【问题描述】:
注意:这是针对旧版本的:我们正在运行 kafka_2.9.2-0.8.1
当尝试针对 windows7 上的现有主题运行 kafka-console-consumer.bat 时,我们收到“无法添加领导者”和“NotLeaderForPartition”异常
这里是命令行
set GROUP=group1234
kafka-console-consumer.bat --group %GROUP% --zookeeper localhost:2181 --topic calls --from-beginning
以下是错误:
[2014-05-26 15:02:12,997] WARN [group1234_S80035683-SC01-1401141732400-98745e28-leader-finder-thread], Failed to add leader for partitions [calls,0];
will retry (kafka.consumer.ConsumerFetcherManager$LeaderFinderThread:89)
kafka.common.NotLeaderForPartitionException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at java.lang.Class.newInstance(Class.java:374)
at kafka.common.ErrorMapping$.exceptionFor(ErrorMapping.scala:73)
at kafka.consumer.SimpleConsumer.earliestOrLatestOffset(SimpleConsumer.scala:160)
at kafka.consumer.ConsumerFetcherThread.handleOffsetOutOfRange(ConsumerFetcherThread.scala:60)
at kafka.server.AbstractFetcherThread$$anonfun$addPartitions$2.apply(AbstractFetcherThread.scala:179)
at kafka.server.AbstractFetcherThread$$anonfun$addPartitions$2.apply(AbstractFetcherThread.scala:174)
at scala.collection.immutable.Map$Map1.foreach(Map.scala:119)
at kafka.server.AbstractFetcherThread.addPartitions(AbstractFetcherThread.scala:174)
at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:86)
at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:76)
at scala.collection.immutable.Map$Map1.foreach(Map.scala:119)
at kafka.server.AbstractFetcherManager.addFetcherForPartitions(AbstractFetcherManager.scala:76)
而且我们最终无法消费任何消息。
我们正在运行 kafka_2.9.2-0.8.1
注意:Zookeeper 看到消费者尝试连接:我进入 zkCli 并可以看到新的 group1234
[zk: localhost:2181(CONNECTED) 2] ls2 /consumers/group1234
[owners, ids]
cZxid = 0x123
ctime = Mon May 26 15:02:12 PDT 2014
mZxid = 0x123
mtime = Mon May 26 15:02:12 PDT 2014
pZxid = 0x128
cversion = 2
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2
这里是关于 ZK 中请求的 calls 主题的信息:
[zk: localhost:2181(CONNECTED) 7] ls2 /brokers/topics/calls
[partitions]
cZxid = 0x18
ctime = Sat May 24 23:15:16 PDT 2014
mZxid = 0x18
mtime = Sat May 24 23:15:16 PDT 2014
pZxid = 0x1c
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 36
numChildren = 1
如果该主题有损坏,我只是将其放入 ZK 中,然后通过 kafka-topics.bat 重新创建它。这是新的 ZK 输出
[zk: localhost:2181(CONNECTED) 15] ls2 /brokers/topics/calls
[]
cZxid = 0x136
ctime = Mon May 26 16:02:51 PDT 2014
mZxid = 0x136
mtime = Mon May 26 16:02:51 PDT 2014
pZxid = 0x136
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 36
numChildren = 0
【问题讨论】:
-
有没有运气解决这个问题?
-
在 Kafka 上还有其他错误 - 有些不仅仅是在 Windows 上。例如。无法删除主题。我在 RabbitMQ 中重新编码。最终我们将回到 Kafka(当这些错误修复后)。
-
投票结束,因为这个问题自 2014 年以来没有出现过任何活动,我们现在有 许多 Kafka 版本。
-
@DennisJaheruddin 我会同意关闭这个,因为你说的原因。 Kafka v 0.8.X 有 所以 很多严重的错误。等一下 !关闭没有适当的理由:它肯定不是题外话.. 只是太过时了。 Soo..我暂时撤回我的协议。您能否查看 Meta.stackoverflow 以了解与旧版本有关的问题的政策是什么?我的意思是这种情况经常发生..其他问题是否因此而关闭?老实说,我不知道。
-
@javadba 我对题外话的命名不满意。但在其中有一个“关于无法再重现的问题的问题”的子类别。我认为这是一个合理的选择,除非人们仍然遇到它。
标签: apache-zookeeper apache-kafka