使用 Sparklyr 连接到 Spark 会出现 Permission Denied 错误答案

【问题标题】：Connecting to Spark with Sparklyr gives Permission Denied Error使用 Sparklyr 连接到 Spark 会出现 Permission Denied 错误
【发布时间】：2017-11-28 16:22:44
【问题描述】：

安装 sparklyr 包后，我按照此处的说明 (http://spark.rstudio.com/) 连接到 spark。但是面对这个错误。难道我做错了什么。请帮帮我。

 sc = spark_connect( master = 'local' )

文件中的错误（con，“r”）：无法打开连接另外：警告信息：在文件（con，“r”）中：无法打开文件“C:\Users\USER\AppData\Local\Temp\RtmpYb3dq4\fileff47b3411ae_spark.log”：权限被拒绝

但我可以在指定位置找到文件。打开的时候发现里面是空的。我

【问题讨论】：

你加载了吗：library(sparklyr)？
是的，我已经加载了。

标签： r apache-spark sparklyr

【解决方案1】：

首先，你是从 github devtools::install_github("rstudio/sparklyr") 还是 CRAN 安装 sparklyr 的？前段时间 Windows 安装存在一些问题。

您遇到的问题似乎与 Windows 上的 TEMP 和 TMP 文件夹级别权限或文件创建权限有关。每次启动sc <- spark_connect() 时，它都会尝试创建一个文件夹和文件来写入日志文件。确保您对这些位置具有写入权限。

【讨论】：

我是从 CRAN 安装的。好的检查写访问。
如果写权限不是原因，我建议卸载包并从 github 安装
我是 R 中的一个回溯版本。因此更新了 R 以及来自 github 的 sparklyr。那么问题就解决了。

【解决方案2】：

我可以在 2.4.3 和 2.4.4 版本中观察到相同的错误消息在不同的情况下：

当尝试连接到非“本地”主机时，使用spark_connect(master="spark://192.168.0.12:7077", ..)，

如果 master 没有启动或者没有在指定的 master url 响应。
设置特定的不完整配置时
- 在我的例子中，我尝试将 dynamicAllocation 设置为 true，而不需要其他必需的 dynamicAllocation 设置：

conf <- spark_config() conf$spark.dynamicAllocation.enabled <- "true"

【讨论】：