从 RStudio 运行 SparkR 会返回“无法运行程序 Rscript”答案

【问题标题】：Running SparkR from RStudio returns "Cannot run program Rscript"从 RStudio 运行 SparkR 会返回“无法运行程序 Rscript”
【发布时间】：2017-06-12 04:51:05
【问题描述】：

我正在使用 RStudio 试用 SparkR，但它似乎不起作用。我已经尝试了其他问题的建议解决方案，但我仍然无法弄清楚为什么它没有运行。

我运行的代码如下

if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
  Sys.setenv(SPARK_HOME = "c://spark")
}
library(SparkR)
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))

sc<-sparkR.session(master="spark://192.168.56.1:7077",appName = "R Spark", sparkConfig = list(spark.cassandra.connection.host="localhost"), sparkPackages = "datastax:spark-cassandra-connector:1.6.0-s_2.11")
df<- as.DataFrame(faithful)
showDF(df)

我得到的消息是

Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
  org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 4 times, most recent failure: Lost task 0.3 in stage 1.0 (TID 4, 192.168.56.1): java.io.IOException: Cannot run program "Rscript":
CreateProcess error=2, Das System kann die angegebene Datei nicht finden
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048)
    at org.apache.spark.api.r.RRunner$.createRProcess(RRunner.scala:348)
    at org.apache.spark.api.r.RRunner$.createRWorker(RRunner.scala:386)
    at org.apache.spark.api.r.RRunner.compute(RRunner.scala:69)
    at org.apache.spark.api.r.BaseRRDD.compute(RRDD.scala:50)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
    at org.apache.spark.rdd.MapPartitionsRDD.

我正在尝试在具有 1 个 Worker 的独立集群上运行它，

Spark 版本为 2.0.2

RStudio：1.0.136

R：3.3.2

【问题讨论】：

标签： r apache-spark rstudio sparkr rscript

【解决方案1】：

我在使用 2 节点集群的 RStudio 下遇到了类似的问题。

问题在于，当您的 R 驱动程序安装了 R 时，您的工作节点没有（或者至少在其执行路径中没有 Rscript）。结果，当它尝试在worker而不是master上运行一些R代码时，它找不到Rscript。

解决方案：在工作节点上安装 R 和 Rscript。

我希望这会有所帮助！

【讨论】：