无法让最新的苏打水 (2.2) 与 R 一起使用（通过 rsparkling）答案

【问题标题】：Trouble getting latest Sparkling Water (2.2) to work with R (via rsparkling)无法让最新的苏打水 (2.2) 与 R 一起使用（通过 rsparkling）
【发布时间】：2018-02-16 00:01:04
【问题描述】：

我在更新 rsparkling 以使用苏打水 2.2 和 Spark 2.2 时遇到问题。一切都适用于以前的版本（

我已经安装了最新的 Sparkling Water 2.2 二进制文件附带的 rsparkling 版本 R 包（根据https://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/0/index.html），并将苏打水版本设置为安装位置（即 options(rsparkling.sparklingwater.location = "/用户/me/sparkling-water-2.2.0/"))。

我现在可以连接到我的集群，但出现错误

java.lang.ClassNotFoundException: org.apache.spark.h2o.H2OContext

我认为这可能与我使用的 h2o 版本有关 - 3.14.0.2 这是安装页面中推荐的版本。

有人知道哪个版本的 h2o 苏打水 2.2 可以使用吗？ rsparkling 文档 (https://github.com/h2oai/rsparkling) 未更新到 2.2。这个错误会不会是其他原因造成的？

我正在连接到一个独立的 Spark 集群，我的设置是：

Cluster/local Spark version: 2.2
R: 3.4.2
RStudio: 1.0.153
Sparklyr: 0.6.2
h2o: 3.14.0.2
rsparkling: 2.1

【问题讨论】：

标签： r apache-spark h2o sparkling-water

【解决方案1】：

我遇到了同样的问题，我已经通过调整 h2o 和苏打水版本解决了这个问题。

https://github.com/h2oai/rsparkling 显示版本匹配表。由于你的 h2o 是 3.14.0.2，后端 spark 应该是 2.2.0。
https://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/2/index.html 在下载链接下方有三行，表示构建苏打水的指定版本。例如，苏打水 2.2.2 匹配 H2O 3.14.0.7。这是关键问题：如果您将 H2O 3.14.0.6 与苏打水 2.2.2 一起使用，或 H2O 3.14.0.7 与苏打水 2.2.1 一起使用，则会引发错误。
仔细阅读这些信息并选择您的下载解决方案（在苏打水和 H2O 和 Spark 之间选择完全匹配的版本）。

这里有一个解决方案：

集群/本地 Spark 版本：2.2 R：3.4.2 RStudio：1.0.153 Sparklyr：0.6.2 水：3.14.0.2 苏打水2.2.0，从https://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/0/index.html下载

## sparkling water 2.2.0
options(rsparkling.sparklingwater.version = "2.2.0")
options(rsparkling.sparklingwater.location = "/opt/sparkling-water-2.2.0")
library(rsparkling) 

## spark version 2.2.0
sc <- spark_connect(master = "local", version = "2.2.0")

## connect succeed!
h2o_context(sc)

【讨论】：

【解决方案2】：

也许您没有正确安装 spark、h2o 和 Rstudio 的所有依赖项。我有这个问题，按照文档我注意到我没有所有的包。

这就是我为我解决问题的方法，遵循文档here

确保您已安装 devtools，在 Rstudio 中运行此命令：install.packages('devtools')。

然后： library(devtools) devtools::install_github("h2oai/rsparkling", ref = "master")

希望这可以帮助你。

【讨论】：