如何将 spark 添加为 maven 依赖项？答案

【问题标题】：How can I add spark as maven depenency?如何将 spark 添加为 maven 依赖项？
【发布时间】：2017-08-17 08:16:59
【问题描述】：

我尝试导入

import org.apache.spark.api.java.JavaDoubleRDD;

但我在mvnrepository.com 上找不到它，如何在 pom.xml 中添加此依赖项？目前我有

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>2.1.0</version>
    </dependency>
</dependencies>

但这显然还不够。

【问题讨论】：

你有什么问题？
它在 mavenrepository：mvnrepository.com/artifact/org.apache.spark/spark-core_2.10/…
也许刷新您的项目？我知道在 intelliJ 中有一个重新加载 mvn deps 的选项，不确定其他 IDE。正如@MatthiasFax 所说，它在 mvnrepository 上，你的 pom.xml 似乎还可以
请记住，在 Spark jars (due scala/sbt) 中有一个令人困惑的命名约定，其中使用的 scala 版本也在 artifactId 中编码 - 这起初可能很奇怪（特别是因为 2.10 看起来有点像 2.1.0！）

标签： java maven apache-spark

【解决方案1】：

其实它就在那里，你可以从以下位置找到它：

https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10

我正在使用 sbt 并且可以正常使用：

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.1" % "provided"

我相信版本为 2.10 的 maven 等效配置就足够了。

【讨论】：

SBT 可能不是 Java 应用程序的首选。此外，您的示例显示了错误的 Scala 构建（2.11）和 Spark 版本（2.0.1）。
感谢您的回复 :-)。我正在链接到问题中指定的版本，但是 sbt config 中的版本是我正在使用的版本，它不一样。