sbt 程序集在提供的依赖项之间切换

Question

我正在开发一个 spark 应用程序。要在本地测试它，我想运行 sbt 运行。这要求依赖项在本地可用。但我也想使用sbt assembly 生成一个可用于spark-submit 的jar，该jar 应该只包含一些依赖项，例如不包括 spark 依赖项。

当我将build.sbt 中的依赖项标记为% "provided" 时，它不再可通过sbt run 获得

Answer 1

如果在 main built.sbt 中排除 jars 使用的情况

excludedJars in assembly := {
  val cp = (fullClasspath in assembly).value
  cp filter {f =>
     f.data.getName.contains("spark"),
     f.data.getName.startsWith("jar_name")
  }
}