spark-shell 依赖，翻译自 sbt答案

【问题标题】：spark-shell dependencies, translate from sbtspark-shell 依赖，翻译自 sbt
【发布时间】：2016-07-04 23:30:55
【问题描述】：

在检查如何使用 cassandra 连接时，文档指示将其添加到 sbt 文件中：

"libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M1"

一般来说，是否有一个明显、直接的逻辑可以将其转换为相应的：

spark-shell --packages "field1":"field2"

我试过了：

spark-shell --packages "com.datastax.spark":"spark-cassandra-connector"

还有一些其他的东西，但这不起作用。

【问题讨论】：

检查这个问题：stackoverflow.com/questions/25837436/…
是的，看到了。它解决了在 shell 上安装 Cassandra 连接器的问题，但我对一般情况更感兴趣，是否存在某种逻辑

标签： scala apache-spark cassandra sbt

【解决方案1】：

我相信是--packages "groupId:artifactId:version"。如果你有多个包，你可以用逗号分隔它们。 --packages "groupId1:artifactId1:version1, groupId2:artifactId2:version2"

在 sbt 中

val appDependencies = Seq(
  "com.datastax.spark" % "spark-cassandra-connector_2.10" % "1.6.0-M1"
)

和

val appDependencies = Seq(
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M1"
)

是相同的。如果您在 sbt 中使用 %% 语法（在 groupId 之后），它会自动为您的 scala 版本挑选工件。因此，使用 scala 2.10 会将您的 spark-cassandra-connector 更改为 spark-cassandra-connector_2.10。不确定使用 spark-shell 时是否存在此功能，因此您可能需要明确要求您的工件的 scala2_10 版本，如下所示：--packages "com.datastax.spark:spark-cassandra-connector_2.10:1.6.0-M1"

【讨论】：

【解决方案2】：

应指定版本。

spark-shell --packages "com.datastax.spark":"spark-cassandra-connector_2.11":"2.0.0-M3"

您可以从http://search.maven.org/#search%7Cga%7C1%7Cspark-cassandra-connector 找到版本信息。

【讨论】：

【解决方案3】：

按照Spark Packages Website上发布的说明进行操作

使用 Spark-Shell

$SPARK_HOME/bin/spark-shell --packages datastax:spark-cassandra-connector:1.6.0-M1-s_2.10

还有各种构建系统的说明

SBT

resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"

libraryDependencies += "datastax" % "spark-cassandra-connector" % "1.6.0-M1-s_2.11"

和马文

<dependencies>
  <!-- list of dependencies -->
  <dependency>
    <groupId>datastax</groupId>
    <artifactId>spark-cassandra-connector</artifactId>
    <version>1.6.0-M1-s_2.11</version>
  </dependency>
</dependencies>
<repositories>
  <!-- list of other repositories -->
  <repository>
    <id>SparkPackagesRepo</id>
    <url>http://dl.bintray.com/spark-packages/maven</url>
  </repository>
</repositories>

【讨论】：