从提供的等动态更改 sbt 构建文件中的库依赖项

Question

我们在 Scala 应用程序中经常使用 spark。如果我在本地测试我的库依赖项是：

  libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1",
 libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.1" ,

而我正在构建一个 jar 来部署我使用：

  libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1" % "provided",
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.1" % "provided",

由于工作的性质，我们有时可能不得不在尝试不同的事情时来回翻转几次。在某些时候我不可避免地忘记更改构建文件并最终浪费时间，这不是很多时间，但足以促使我提出这个问题。

那么，有没有人知道让构建文件根据触发器更新提供的值的方法（不包括记住“做正确的事”）？例如读取 test 或 live 的配置选项？

提前致谢。

Answer 1

在我的示例中，我刚刚使用两个不同的 spark 版本执行了动态构建。我需要根据具体情况使用两个不同的版本。

您可以通过两种方式做到这一点。由于您需要以一种或其他方式提供输入，因此您需要使用命令行参数。

1) 自行使用 build.sbt。

a) 你可以定义一个名为“sparkVersion”的参数

b) 在 build.sbt 中读取该参数，（您可以在 build.sbt 中编写 scala 代码，它会在构建时以任何方式编译为 scala。）

c) 执行基于条件的依赖，如下所示。

val sparkVersion = Option(System.getProperty("sparkVersion")).getOrElse("default")

if(sparkVersion == "newer"){
    println(" newer one");
    libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0" 
}else{
    println(" default one");
    libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0" % "provided"
}

您可以随意使用所有构建选项。

2) 使用 build.scala 文件。您可以在 /project/build.scala 中创建 build.scala 文件

您可以编写下面的代码。

import sbt._
import Keys._

object MyBuild extends Build {  
  val myOptionValue = Option(System.getProperty("scalaTestVersion")).getOrElse("defaultValue")

  val depVersion = if(myOptionValue == "newer"){
    println(" asked for newer version" );
    "2.2.6"
  }else{
    println(" asked for older/default version" );
    "2.2.0"
  }

   val dependencies = Seq(
    "org.scalatest" %% "scalatest" % depVersion % "test"
  )

   lazy val exampleProject = Project("SbtExample", file(".")).settings(
    version       := "1.2",
    scalaVersion  := "2.10.4",
    libraryDependencies ++= dependencies
  )

}

在此之后，只需运行如下构建命令。

sbt clean compile -DsparkVersion=newer -DscalaTestVersion=newer

我已经为两者提供了构建命令。您可以选择其中之一，并且只提供一个选项。 如果您需要任何帮助，请写信给我。

为了解决构建中的重复项，您可以在 build.sbt 中添加以下一项

mergeStrategy in assembly := {
  case m if m.toLowerCase.endsWith("manifest.mf")          => MergeStrategy.discard
  case m if m.toLowerCase.matches("meta-inf.*\\.sf$")      => MergeStrategy.discard
  case "log4j.properties"                                  => MergeStrategy.discard
  case "log4j-defaults.properties"                         => MergeStrategy.discard
  case m if m.toLowerCase.startsWith("meta-inf/services/") => MergeStrategy.filterDistinctLines
  case "reference.conf"                                    => MergeStrategy.concat
  case _                                                   => MergeStrategy.first
}

你会明白 sbt 是多么的好和神奇。