【问题标题】:Understanding spark-sbt-plugin了解 spark-sbt-plugin
【发布时间】:2016-12-26 05:45:42
【问题描述】:

我看到了这个关于如何设置build.sbt for Spark的详细说明。

但后来我读到了SBT plugin for Spark packages,其中显然是一行

https://github.com/databricks/sbt-spark-package

没关系,因为插件正在做讨厌的工作。

这种理解正确吗?

【问题讨论】:

    标签: apache-spark sbt-plugin


    【解决方案1】:

    我会说是的。如果您查看用于 Spark 的简单 .sbt 文件(例如,https://github.com/databricks/learning-spark/blob/master/build.sbt),您会发现您需要包含一堆 spark 依赖项。 (好吧,不是所有列在那里的……)。

    另外,如果你看看插件做了什么,你会发现更多的实用功能:https://github.com/databricks/sbt-spark-package/blob/master/src/main/scala/sbtsparkpackage/SparkPackagePlugin.scala

    这是一个很酷的插件!

    【讨论】:

      猜你喜欢
      • 2019-07-14
      • 2015-10-09
      • 2014-01-12
      • 1970-01-01
      • 2017-11-05
      • 2011-11-25
      • 2018-12-11
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多