我正在尝试使用 sbt 从修改后的源代码构建 Apache Spark。实际上，我只对 spark 核心进行了一些更改，所有其他模块都保持不变。但是，每次我使用命令构建火花时
sbt/sbt assembly
它再次编译并解析所有依赖项。我使用修改后的 Spark 源运行的应用程序也仅使用核心 Spark 功能，没有什么花哨的。有没有办法让 spark 只重新编译修改后的、将解析的依赖项存储在缓存中，或者任何其他方式可以加快 jar 构建过程。
【问题讨论】：
标签： apache-spark sbt
为了在开发过程中编译 Spark，您可以做一些事情来加快速度。其中之一是运行sbt/sbt，然后您可以在sbt shell 中执行assembly 命令。你可以保持相同的 sbt shell，除非你改变 build/deps（在这种情况下你需要做一个reload）。另一个是，在你开发的时候你可以使用compile，或者如果你只是改变内核，甚至可以只使用core/compile来编译Spark（当然你仍然需要汇编jar来做像使用shell这样的事情）。另一种选择是使用 maven 进行连续编译，如 http://spark.apache.org/docs/latest/building-spark.html 中所述。希望能有所帮助，祝你好运:)
【讨论】：