在 sparklyr 中禁用 hive 支持

【问题标题】：Disable hive support in sparklyr在 sparklyr 中禁用 hive 支持
【发布时间】：2017-05-23 23:53:52
【问题描述】：

有没有办法在 sparklyr 中禁用 hive 支持？

就像在 SparkR 中一样：

sparkR.session(master="local[*]", enableHiveSupport=FALSE)

【问题讨论】：

标签： r sparklyr

【解决方案1】：

您可以通过将 SQL 目录实现设置为 in-memory 来禁用 sparklyr 中的 Hive。

# get the default config
conf <- spark_config()
# set the catalog implementation, defaults to hive, but we want it in-memory
conf$spark.sql.catalogImplementation <- "in-memory"
sc <- spark_connect(master = "local", config = conf)

【讨论】：

【解决方案2】：

如issue #2460 所述，该选项是在破坏了版本 1.2.0 上的Ron's answer 解决方案后在 sparklyr 1.3.0 中引入的。

library(sparklyr)

config <- spark_config()
config$sparklyr.connect.enablehivesupport <- FALSE

sc <- spark_connect(master = "local", config = config)

【讨论】：