SBT 程序集 jar 排除答案

【问题标题】：SBT assembly jar exclusionSBT 程序集 jar 排除
【发布时间】：2013-12-06 13:34:23
【问题描述】：

我正在使用 spark（在 java API 中）并且需要一个可以推送到集群的 jar，但是 jar 本身不应包含 spark。部署作业的应用程序当然应该包括 spark。

我想要：

sbt run - 一切都应该被编译和执行
sbt smallAssembly - 创建一个没有火花的罐子
sbt 组装 - 创建一个包含所有内容（包括 spark）的 uber jar，以便于部署。

我有 1. 和 3. 工作。关于我如何 2. 的任何想法？我需要在 build.sbt 文件中添加什么代码？

这个问题不仅与 spark 相关，还与我可能希望排除的任何其他依赖项相关。

【问题讨论】：

假设您使用其他库，例如 Scalaz 和 Dispatch。您希望将其包含在还是排除在 smallAssembly 中？
好问题。最好排除 -smallAssembly 应该只包含要部署在集群上的代码。

标签： apache-spark jar sbt sbt-assembly

【解决方案1】：

%“提供”配置

从胖 jar 中排除 jar 的第一个选项是在库依赖项上使用 "provided" 配置。 "provided" 来自 Maven 的 provided 范围，定义如下：

这很像compile，但表示您希望 JDK 或容器在运行时提供依赖项。例如，在为 Java 企业版构建 Web 应用程序时，您可以将 Servlet API 和相关 Java EE API 的依赖设置为范围 provided，因为 Web 容器提供了这些类。此范围仅在编译和测试类路径上可用，并且不可传递。

由于您将代码部署到容器（在本例中为 Spark），与您的评论相反，您可能需要 Scala 标准库和其他库 jar（例如，如果您使用了 Dispatch）。这不会影响run 或test。

packageBin

如果你只想要你的源代码，而不需要 Scala 标准库或其他库依赖项，那将是 packageBin 内置到 sbt 中。这个打包的 jar 可以与您可以使用 sbt-assembly 的 assemblyPackageDependency 制作的仅依赖 jar 结合使用。

程序集中排除的Jars

最后的选择是使用excludedJars in assembly：

excludedJars in assembly := {
  val cp = (fullClasspath in assembly).value
  cp filter {_.data.getName == "spark-core_2.9.3-0.8.0-incubating.jar"}
}

【讨论】：

【解决方案2】：

对于像我这样的初学者，只需将 % Provided 添加到 Spark 依赖项中即可将它们从 uber-jar 中排除：

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.0" % Provided
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.4.0" % Provided

在build.sbt.

【讨论】：

如果你这样做了，你将无法直接从 IDE 或 sbt 运行你的项目以进行开发java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$。
AFAIK，在 Intellij 中，还有一个选项可以配置为下载具有提供范围的 jar。其他 IDE 也必须有这样的选项。