试图让 Apache Spark 与 IntelliJ 一起工作答案

【问题标题】：Trying to get Apache Spark working with IntelliJ试图让 Apache Spark 与 IntelliJ 一起工作
【发布时间】：2018-01-11 11:03:15
【问题描述】：

我正在尝试让 Apache Spark 与 IntelliJ 一起工作。我在 IntelliJ 中创建了一个 SBT 项目并完成了以下操作： 1.转到文件->项目结构->库 2.点击中间部分的'+'，点击Maven，点击Download Library from Maven Repository，输入文本'spark-core'和org.apache.spark:spark-core_2.11:2.2.0，这是最新的可用的 Spark 版本我将jar文件和源代码下载到项目文件夹中的./lib中 3. Spark 库现在显示在库列表中 4.然后我右键单击org.apache.spark:spark-core_2.11:2.2.0 并单击添加到项目和添加到模块现在，当我单击左侧的 Modules，然后单击我的主项目文件夹，然后单击右侧的 Dependencies 选项卡时，我可以将外部库视为 Maven 库，但单击 Apply 后，重新构建项目并重新启动 IntelliJ ，它不会在项目中显示为外部库。因此我无法访问 Spark API 命令。请问我做错了什么？我查看了有关 IntelliJ 的所有文档和一百个其他来源，但找不到答案。

另外，我是否还需要在 build.SBT 文件中包含以下文本，以及将 Apache Spark 指定为外部库依赖项？我假设我需要将代码包含在 build.SBT 文件中，或者手动添加 Spark 作为外部依赖项，但不能同时添加两者。我将此代码包含在我的 build.SBT 文件中：

name := "Spark_example"

version := "1.0"

scalaVersion := "2.12.3"

val sparkVersion = "2.0.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)

我收到一个错误：sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;2.2.0: not found

请帮忙！谢谢

【问题讨论】：

scalaVersion := "2.11.8" 应该可以工作。
谢谢，确实如此，但我收到了一些关于与 Spark v2.0.0 不兼容的警告，所以我尝试了 2.2.0，它似乎可以处理其中的一些问题，但不是全部
始终建议使用依赖管理工具（SBT、Maven、Gradle）添加具有范围的外部 jars（编译/测试/提供等）。
非常感谢 Mrsrinivas！

标签： scala apache-spark intellij-idea sbt

【解决方案1】：

Spark 没有针对 Scala 版本 2.12.x 的构建。所以将 Scala 版本设置为 2.11.x

scalaVersion := "2.11.8"

val sparkVersion = "2.0.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)

【讨论】：

【解决方案2】：

name := "Test"

version := "0.1"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.2.0.2.6.4.0-91"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.0.2.6.4.0-91"
libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.2.0.2.6.4.0-91" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.2.0.2.6.4.0-91" % "runtime"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.2.0.2.6.4.0-91" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-hive-thriftserver" % "2.2.0.2.6.4.0-91" % "provided"

【讨论】：