Spark + Scala：如何在 build.sbt 中添加外部依赖项 [重复]

Question

我是 Spark 的新手（使用 v2.4.5），并且仍在尝试找出添加外部依赖项的正确方法。在尝试将 Kafka 流添加到我的项目时，我的 build.sbt 看起来像这样：

name := "Stream Handler"

version := "1.0"

scalaVersion := "2.11.12"

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "2.4.5" % "provided",  
    "org.apache.spark" % "spark-streaming_2.11" % "2.4.5" % "provided",
    "org.apache.spark" % "spark-streaming-kafka-0-10_2.11" % "2.4.5"
)

这构建成功，但是当使用spark-submit 运行时，我得到一个java.lang.NoClassDefFoundError 和KafkaUtils。

通过--packages 选项传递依赖项，我能够让我的代码工作，如下所示：

$ spark-submit [other_args] --packages "org.apache.spark:org.apache.spark:spark-streaming-kafka-0-10_2.11:2.4.5"

理想情况下，我想在build.sbt 中设置所有依赖项，但我不确定我做错了什么。任何建议将不胜感激！

Answer 1

您的"org.apache.spark" % "spark-streaming-kafka-0-10_2.11" % "2.4.5" 错误。

把它改成下面的 mvnrepo .. https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10

libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.4.5"