需要一些帮助来修复 Spark 流依赖 (Scala sbt)答案

【问题标题】：Need some help in fixing the Spark streaming dependency (Scala sbt)需要一些帮助来修复 Spark 流依赖 (Scala sbt)
【发布时间】：2018-01-16 06:30:19
【问题描述】：

我正在尝试使用 IntelliJ 在我的机器上运行基本的 spark 流式传输示例，但我无法解决依赖问题。请帮我修复它。

name := "demoSpark"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq("org.apache.spark"% "spark-core_2.11"%"2.1.0",
                              "org.apache.spark" % "spark-sql_2.10" % "2.1.0",
                              "org.apache.spark" % "spark-streaming_2.11" % "2.1.0",
                              "org.apache.spark" % "spark-mllib_2.10" % "2.1.0"
)

【问题讨论】：

标签： scala apache-spark sbt spark-streaming

【解决方案1】：

至少，所有依赖项必须使用相同版本的 Scala，而不是 2.10 和 2.11 的混合版本。您可以在 sbt 中使用 %% 符号来确保选择了正确的版本（您在 scalaVersion 中指定的版本）。

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.1.0",
"org.apache.spark" %% "spark-sql" % "2.1.0",
"org.apache.spark" %% "spark-streaming" % "2.1.0",
"org.apache.spark" %% "spark-mllib" % "2.1.0"
)

【讨论】：