Storm：Kafka 到 HDFS - 依赖 jar 问题答案

【问题标题】：Storm: Kafka to HDFS - dependency jar issuesStorm：Kafka 到 HDFS - 依赖 jar 问题
【发布时间】：2017-01-25 08:13:24
【问题描述】：

我已经建立了一个风暴拓扑，它使用来自 kafka 的数据并写入 hdfs。

当使用如下 Storm 和 kafka 依赖项时，

<storm.version>0.10.0.2.3.4.0-3485</storm.version>
<kafka.version>0.8.2.1</kafka.version>

拓扑因以下异常而失败：

java.lang.NoSuchMethodError: kafka.javaapi.consumer.SimpleConsumer.<init>(Ljava/lang/String;IIILjava/lang/String;Ljava/lang/String;)V 
at storm.kafka.DynamicPartitionConnections.register(DynamicPartitionConnections.java:60) 
at storm.kafka.PartitionManager.<init>(PartitionManager.java:66) 
at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) 
at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:138) 
at backtype.storm.daemon.executor$fn__7098$fn__7113$fn__7142.invoke(executor.clj:596) 
at backtype.storm.util$async_loop$fn__543.invoke(util.clj:475) 
at clojure.lang.AFn.run(AFn.java:22) 
at java.lang.Thread.run(Thread.java:745)

但是，当使用如下 Storm 和 kafka 依赖项时，

<storm.version>0.9.3.2.2.4.0-2633</storm.version>
<kafka.version>0.8.2.1</kafka.version>

拓扑运行良好，下载消息并写入 hdfs ，没有任何问题！！

谁能帮我解决问题的原因并帮我解决问题！

【问题讨论】：

你在使用 HDP 集群吗？
@RakeshRakshit 是的，在 HDP 上
请查看您的 HDP 堆栈是否支持 Kafka 0.8
@RakeshRakshit 感谢您的回复。您能否提供更多有关如何检查的详细信息？
您使用的是 HDP 2.3.4 还是 HDP 2.4.2？ HDP 版本是什么？

标签： hadoop hdfs apache-kafka apache-storm kafka-consumer-api

【解决方案1】：

尝试从这里更改storm-kafka依赖：

<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka</artifactId>
<version>${storm.version}</version>
<scope>compile</scope>

到这里：

<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka</artifactId>
<version>0.9.3.2.2.4.0-2633</version>
<scope>compile</scope>

并保持 Storm 和 Kafka 版本：

<storm.version>0.10.0.2.3.4.0-3485</storm.version>
<kafka.version>0.8.2.1</kafka.version>

【讨论】：

【解决方案2】：

HDP 2.3.4 支持 Kafka-0.9 开箱即用。

并且不建议使用与 HDP 堆栈不同的版本，因为该行为尚未经过测试，因此不受支持。

参考资料： https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bk_HDP_RelNotes/content/ch_relnotes_v234.html

【讨论】：