【发布时间】:2016-12-26 05:45:42
【问题描述】:
我看到了这个关于如何设置build.sbt for Spark的详细说明。
但后来我读到了SBT plugin for Spark packages,其中显然是一行
https://github.com/databricks/sbt-spark-package
没关系,因为插件正在做讨厌的工作。
这种理解正确吗?
【问题讨论】:
我看到了这个关于如何设置build.sbt for Spark的详细说明。
但后来我读到了SBT plugin for Spark packages,其中显然是一行
https://github.com/databricks/sbt-spark-package
没关系,因为插件正在做讨厌的工作。
这种理解正确吗?
【问题讨论】:
我会说是的。如果您查看用于 Spark 的简单 .sbt 文件(例如,https://github.com/databricks/learning-spark/blob/master/build.sbt),您会发现您需要包含一堆 spark 依赖项。 (好吧,不是所有列在那里的……)。
另外,如果你看看插件做了什么,你会发现更多的实用功能:https://github.com/databricks/sbt-spark-package/blob/master/src/main/scala/sbtsparkpackage/SparkPackagePlugin.scala
这是一个很酷的插件!
【讨论】: