在 intellij 的 sbt 项目中使用 spark答案

【问题标题】：Use spark in a sbt project in intellij在 intellij 的 sbt 项目中使用 spark
【发布时间】：2015-11-17 16:03:52
【问题描述】：

这里是 build.sbt 文件：

name := "scalaChartTest"

version := "1.0"

scalaVersion := "2.11.7"

//libraryDependencies += "org.jfree" % "jfreechart" % "1.0.19"
//
//libraryDependencies += "org.scalafx" %% "scalafx" % "8.0.0-R4"
//
//libraryDependencies += "com.github.wookietreiber" %% "scala-chart" % "latest.integration"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.4.1"

而且刷新后报错：

15:56:30 SBT project import
         [warn] Multiple dependencies with the same organization/name but different versions. To avoid conflict, pick one version:
         [warn]  * org.scala-lang:scala-compiler:(2.11.0, 2.11.7)
         [warn]  * org.scala-lang:scala-reflect:(2.11.2, 2.11.7)
         [warn]  * jline:jline:(0.9.94, 2.12.1)
         [warn]  * org.scala-lang.modules:scala-parser-combinators_2.11:(1.0.1, 1.0.4)
         [warn]  * org.scala-lang.modules:scala-xml_2.11:(1.0.1, 1.0.4)
         [warn]  * org.slf4j:slf4j-api:(1.6.4, 1.7.10)

这里出了什么问题？

【问题讨论】：

标签： scala intellij-idea apache-spark sbt

【解决方案1】：

您对警告中提到的库有间接依赖关系。存在冲突，因为间接依赖中的版本与 sbt 文件中指定的版本不同（在这种情况下，可能是 scala 版本）。冲突由 sbt 自动解决（根据您的配置选择任一版本）。但是，自动选择的版本可能不是您打算使用的版本，因此会出现警告。

在您的情况下，这可能不是问题。但是，如果您愿意，您可以显式排除间接依赖项：

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.4.1" excludeAll (
  ExclusionRule(organization = "org.scala-lang"),
  ExclusionRule("jline", "jline"),
  ExclusionRule("org.slf4j", "slf4j-api")
  )

【讨论】：

【解决方案2】：

我从 spark 编程指南中了解到 spark 1.4.1 依赖于 scala 2.10.x，所以我将 build.sbt 更改为：

name := "scalaChartTest"

version := "1.0"

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.4.1"

警告消失了。

【讨论】：