各种 spark 版本的交叉构建 scala API答案

【问题标题】：Cross-build scala API for various spark version各种 spark 版本的交叉构建 scala API
【发布时间】：2018-10-25 15:26:17
【问题描述】：

我知道它存在交叉构建选项来生成使用不同 scala 版本运行的各种版本的 scala API。假设我将使用相同的 scala 版本2.11.12，我如何设置我的build.sbt 来处理多个版本的 spark。我对依赖项的 "provided" 选项有一些提示，但我不确定这是处理它的最佳方式。

奖励：如果某些 spark 版本使用 2.11 而其他版本使用 2.12...

如果您已经解决了这个问题，请告诉我们。

【问题讨论】：

标签： scala apache-spark sbt

【解决方案1】：

"org.apache.spark" %% "spark-core" % "2.3.2"

在定义依赖项时使用双 % 符号，然后 sbt 将为您处理 scala 版本。您应该为所有依赖项使用相同的 scala 版本。

【讨论】：