构建一个最小的苏打水应用程序答案

【问题标题】：Building a minimal Sparkling Water application构建一个最小的苏打水应用程序
【发布时间】：2017-03-09 01:09:33
【问题描述】：

我不熟悉苏打水。我现在如何从 sparkling-shell 运行我的程序。但是，我不确定如何构建一个独立的应用程序，我可以将其作为输入来提交 spark。构建应用程序需要包含哪些 jar？

【问题讨论】：

有没有使用Spark 2.0的sparkling droplet新版本

标签： apache-spark h2o sparkling-water

【解决方案1】：

检查sparkling-water examples 例如ProstateDemo.scala 如何编写独立的苏打水应用程序（创建水环境等）。

基本上你 need to add sparkling-water-core 到你的 sbt/maven/gradle 依赖，编译你的 jar。您有 2 个选择：

构建一个装有苏打水核心的装配罐。这是我用于 sbt 的示例：

libraryDependencies += "ai.h2o" %% "sparkling-water-core" % "2.0.4" excludeAll(
ExclusionRule(organization = "org.apache.spark"),
ExclusionRule(organization = "org.slf4j"),
ExclusionRule(organization = "com.google.guava"),
ExclusionRule(organization = "org.eclipse.jetty.orbit"),
ExclusionRule(organization = "com.esotericsoftware.kryo"))

编译您的 jar 并使用 --jars 或 --packages 参数来触发提交：

spark-submit --packages ai.h2o:sparkling-water-core_2.11:2.0.4 your_jar.jar

【讨论】：

有效！！非常感谢。我还必须包含 libraryDependencies += "ai.h2o" %% "sparkling-water-repl" % "2.0.4" 来运行应用程序。
太棒了。我在 h2oConf 中使用 spark.ext.h2o.repl.enabled=false 在我的项目中禁用了 repl

【解决方案2】：

仅供参考：还有包含stb 定义的气泡水滴：

https://github.com/h2oai/h2o-droplets/blob/master/sparkling-water-droplet/build.sbt

【讨论】：