Dataproc (Spark 1.5.x) 上的 SparkR 不起作用答案

【问题标题】：SparkR on Dataproc (Spark 1.5.x) does not workDataproc (Spark 1.5.x) 上的 SparkR 不起作用
【发布时间】：2016-01-05 16:26:39
【问题描述】：

当我尝试在 Cloud Dataproc 集群（0.2 版）上使用 SparkR 时，我收到如下错误：

Exception in thread "main" java.io.FileNotFoundException:
/usr/lib/spark/R/lib/sparkr.zip (Permission denied)
at java.io.FileOutputStream.open0(Native Method)
at java.io.FileOutputStream.open(FileOutputStream.java:270)
at java.io.FileOutputStream.<init>(FileOutputStream.java:213)
at
org.apache.spark.deploy.RPackageUtils$.zipRLibraries(RPackageUtils.scala:215)
at
org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:371)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:153)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

如何解决此问题以便使用 SparkR？

【问题讨论】：

标签： sparkr google-cloud-dataproc

【解决方案1】：

此问题是由 Spark 1.5 系列 (JIRA here) 中的错误引起的。要解决此问题，请通过 SSH 连接到主节点或使用 initialization action 在主节点上运行以下命令。

sudo chmod 777 /usr/lib/spark/R/lib

这个问题应该在 Spark 1.6 中得到修复，Cloud Dataproc 最终会在未来的新映像版本中支持该问题。

【讨论】：