sbt scala 2.11 IntelliJ IDEA sbt 1.0 中的 java.lang.ClassNotFoundException答案

【问题标题】：java.lang.ClassNotFoundException in sbt scala 2.11 IntelliJ IDEA sbt 1.0sbt scala 2.11 IntelliJ IDEA sbt 1.0 中的 java.lang.ClassNotFoundException
【发布时间】：2018-10-06 17:05:55
【问题描述】：

我在 IntelliJ IDEA 中为 spark.streaming.kafka 执行了 Scala 代码，我使用的是 scala 版本 2.11、sbt 1.0 和 spark 版本 2.0.1

我正在尝试通过 Kafka 生产者发送消息并尝试在 spark 集群中获取我已经在 spark 集群中执行了以下命令：

bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0- 
10_2.11:2.0.1 --class "KafkaWordCount" --master 
spark://bluedata5.bdlocal:7077 jars/sskafka_2.11-0.1.jar localhost:2080 
sds_test

代码： KafkaWordCount.scala

构建.sbt

错误：输出 1

输出 2

请帮我解决错误

【问题讨论】：

请复制粘贴代码和堆栈跟踪，并使用Ctrl + K 对其进行格式化，而不是发布图像。

标签： scala apache-spark apache-kafka

【解决方案1】：

错误信息很清楚，上面写着

java.lang.ClassNotFoundException : KafkaWordCount

您所要做的就是提供 KafkaWordCount 类的完整 padkage 路径，即kafspa.KafkaWordCount

所以你的spark-submit 命令应该是

bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.0.1 --class kafspa.KafkaWordCount --master spark://bluedata5.bdlocal:7077 jars/sskafka_2.11-0.1.jar localhost:2080 sds_test

【讨论】：