如何从本地 Windows Rstudio 连接远程 Spark 集群答案

【问题标题】：How to connect remote Spark cluster from Local Windows Rstudio如何从本地 Windows Rstudio 连接远程 Spark 集群
【发布时间】：2017-02-28 17:48:16
【问题描述】：

我的远程 centos 节点中有 Spark 集群，我想从本地 Windows R 工作室连接那个 远程 Spark 集群（我正在使用 Rstudio Desktop 在我的本地窗口中）

  if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
  Sys.setenv(SPARK_HOME = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6")
  .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
library(SparkR, lib.loc = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6/R/lib")

sc <- sparkR.init(master = "spark://<IP-Address>:7077", sparkEnvir = list(spark.driver.memory="2g"))

我收到以下错误

Error in library(SparkR) : there is no package called ‘SparkR’

请任何人提供解决方案提前谢谢

【问题讨论】：

标签： apache-spark rstudio spark-dataframe sparkr rstudio-server

【解决方案1】：

要在 RStudio 中使用 SparkR，您需要安装 SparkR 包并加载它。使用这些命令

install.packages("SparkR")

library(SparkR)

【讨论】：

【解决方案2】：

要在 RStudio 中使用 SparkR，您可以在 RStudio 控制台上安装 sparklyr：

intall.packages("sparklyr")

稍后，您可以使用以下命令加载此包：

library("sparklyr")

【讨论】：