使用 install_github 安装 SparkR 包时出错答案

【问题标题】：Error while installing SparkR package using install_github使用 install_github 安装 SparkR 包时出错
【发布时间】：2015-08-16 11:30:42
【问题描述】：

我正在尝试在 R 中使用 SparkR 包。我拥有所有依赖包，例如 devtools、Rtools.exe 等。

当我尝试以下命令时：

install_github("amplab-extras/SparkR-pkg",subdir="pkg")

我收到以下错误：

Downloading github repo amplab-extras/SparkR-pkg@master
Error in function (type, msg, asError = TRUE ) :
  Received HTTP code 403 from proxy after CONNECT

为了解决这个问题，我设置了一个有效的 http_proxy、https_proxy，但它不工作并抛出上述错误。我是 R/RStudio 的新手。

【问题讨论】：

该包实际上有用于下载和安装 Spark 的 shell 脚本，因此需要以 root 身份运行，并且可能不尊重您在 R 中设置的任何内容。
@Netal 我没有在 R 级别设置代理我设置为系统环境变量我认为这应该不是问题吗？
也许吧，但它至少在其中一些方面使用了 sbt。这可能对那部分有所帮助：stackoverflow.com/questions/13803459/…

标签： r apache-spark sparkr

【解决方案1】：

我已经在带有 R-3.2.x 的 64 位 Windows 7 上安装了 SparkR，并在上面安装了 Spark 1.4。

** 如果您需要了解如何在 Windows 上安装 Spark，请查看 Spark 的官方文档或列出的逐步过程here.

进入maven的bin文件夹

C:\Program Files\apache-maven-3.3.3\bin
打开记事本并粘贴文本

"%~dp0\mvn.cmd" %*
将bin文件夹中的记事本保存为mvn.bat，如下图

C:\Program Files\apache-maven-3.3.3\bin\mvn.bat
重启Rstudio并执行

library(devtools) install_github("repo/SparkR-pkg", ref="branchname", subdir="pkg")

【讨论】：

【解决方案2】：

自 2015 年 6 月 1.4 版本开始将 SparkR 合并到 Spark Core 项目中，现在 SparkR 构建说明与 Spark 构建说明相同。确保为 SparkR 添加 maven 标志 -Psparkr。

例如，您可以使用 SparkR 构建 Spark 版本，如下所示：

build/mvn -Psparkr -DskipTests clean package

更多详情请见：http://spark.apache.org/docs/latest/building-spark.html。

【讨论】：