线程“流式启动”java.lang.NoSuchMethodError 中的异常：org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V答案

【问题标题】：Exception in thread "streaming-start" java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V线程“流式启动”java.lang.NoSuchMethodError 中的异常：org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V
【发布时间】：2018-02-01 02:36:50
【问题描述】：

当我提交 spark 应用程序时，出现以下错误：

线程“流式启动”java.lang.NoSuchMethodError 中的异常：

org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V

通过以下网址： http://apache-spark-developers-list.1001551.n3.nabble.com/testing-the-kafka-0-10-connector-td17956.html

设置以下环境变量： SPARK_KAFKA_VERSION=0.10

添加了以下依赖：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
  <version>2.1.0.cloudera1</version>
</dependency>

添加了以下罐子： spark-streaming-kafka-0-10-assembly_2.11.jar

我正在使用的版本：

Spark-2.0.2
Scala-2.11
Kafka-0.10

一段代码：

val CLASS_NAME = this.getClass
val log = org.apache.log4j.LogManager.getLogger(CLASS_NAME)

非常感谢您的帮助。

【问题讨论】：

标签： scala apache-spark cassandra apache-kafka

【解决方案1】：

尝试设置：

导出 SPARK_KAFKA_VERSION=0.10

【讨论】：

谢谢！这帮助我克服了恼人的方法未找到错误。你拯救了我的一天。
为什么需要它？
是的，为什么需要这个？