在 Mac OS 上将 Spark 与 R studio 连接会导致 Hive 错误答案

【问题标题】：Connecting Spark with R studio on Mac OS gives Hive error在 Mac OS 上将 Spark 与 R studio 连接会导致 Hive 错误
【发布时间】：2018-07-01 09:36:21
【问题描述】：

我正在尝试使用 MacOS 上的 sparklyr 库在 R Studio 中使用 Spark。我已经使用以下命令安装了它

# Install the sparklyr package
install.packages("sparklyr")

# Now load the library
library(sparklyr)

# Install Spark to your local machine
spark_install(version = "2.1.0")

install.packages("devtools")

# Install latest version of sparklyr
devtools::install_github("rstudio/sparklyr")

# Connect to Spark
options(sparklyr.java9 = TRUE)

sc = spark_connect(master = "local")

iris_tbl <- copy_to(sc, iris) # Throws hive error !!!

这是我面临的错误 -->

iris_tbl

【问题讨论】：

您使用的是什么操作系统？（即是 High Sierra、El Capitan 等）？你安装的是什么版本的 Java？
我的操作系统是 High Sierra，Java 版本是 1.8 --> jdk 1.8.0_161

标签： r sparklyr

【解决方案1】：

新的 Mac OSX 版本有一个记录在案的问题，即在 R/RStudio 中弄乱 Java 路径（请参阅 here）。我有一种感觉（尽管我不是 100% 确定）这就是你在这里遇到的。

如果您查看我上面链接的问题，希望您能找到一个可以重置您的路径的解决方案；我发现在 High Sierra 上最适合我的是：

dyn.load('/Library/Java/JavaVirtualMachines/jdk1.8.0_66.jdk/Contents/Home/jre/lib/server/libjvm.dylib')

【讨论】：