如何安装 Apache spark 并为 R 启动并运行它？答案

【问题标题】：How do I install Apache spark and get it up and running for R?如何安装 Apache spark 并为 R 启动并运行它？
【发布时间】：2015-09-02 08:12:50
【问题描述】：

所以，我对 Hadoop 和 Apache Spark 还是很陌生。我是一个初学者尝试我的手。所以，首先我了解了 hadoop 和 MapReduce 的基本内容，它们是如何形成的，然后 Apache Spark 相对于 Hadoop 提供了哪些优势（有些在内存和磁盘上的处理速度更快），以及使我们的生活更轻松的多个库.现在，我正在尝试使用 Apache Spark。为了做到这一点，我假设我必须在我的机器上安装一个名为 Apache Spark 的软件。

我所做的是安装 Oracle Virtual box。然后我安装了流浪汉。现在，我知道在下载 vagrant 并提取文件和东西之后，我必须运行命令vagrant up，它会下载并安装我的虚拟机。但是，我想使用 R 来使用 Apache Spark。我的意思是，我不知道 Python，但我知道 R。而且我前几天读到 Databricks 显然已经发布了对 R 的支持。因为我是新手，我假设，会有一些外壳，我可以在其中键入我的 R 命令，并且将使用 Apache Spark 进行计算。

因此，我不知道如何继续。我应该这样做vagrant up，我想这将允许我使用 python shell 使用 apache spark。或者这就是前进的方向，在这样做之后，我将不得不安装一些额外的库来使用 R。

【问题讨论】：

标签： r hadoop apache-spark

【解决方案1】：

你说的包是 SparkR 实际上，您可以在 R 中导入很少的包，并且可以在 R 中本地使用 spark，但是如果您想使用 Spark Standalone 集群，那么您也必须安装 Spark。在 Spark 1.4.0 中，R 包已与 Spark 安装一起嵌入，您可以通过将其导入 R 来直接使用它们。

这个新发布的包可以从这个位置下载-

https://spark.apache.org/downloads.html

现在您可以使用 RStudio 或 R shell 并使用这些行来导入 R 包 -

Sys.setenv(SPARK_HOME="/home/hduser/Downloads/FlareGet/Others/spark-1.4.0-bin-hadoop2.6").libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))

library(SparkR)

或者你可以直接从下载包的 bin 文件夹中运行 sparkR shell - 转到 bin 文件夹并键入命令提示符

./sparkR

从这个位置下载包 - http://www.webhostingjams.com/mirror/apache/spark/spark-1.4.0/spark-1.4.0-bin-hadoop2.6.tgz

【讨论】：

等一下，我下载了名为spark-1.4.0.tgz的文件。这是一个非常小的文件。现在，首先，当我打开它时，没有可以运行的应用程序文件，然后 spark 将安装。其次，当我运行 RStudio 时，我必须准确键入哪些命令？你能想出一个适当缩进的工作代码吗？这将是一个很大的帮助。谢谢！

【解决方案2】：

如何安装 Apache Spark？

请转至https://spark.apache.org/downloads.html

请从 2015 年 7 月 2 日起选择 preBuild for Hadoop 2.6 及更高版本

下载并解压文件

请使用终端进入下载文件夹，最后进入解压文件夹

cd Downloads/ cd spark-1.4.0-bin-hadoop2.6

为 R 启动并运行它？

请使用以下命令检查您的目录

ls

你会开始看到文件夹中的文件

CHANGES.txt NOTICE README.md bin data ec2 lib sbin LICENSE R RELEASE conf derby.log examples python

最后，请在终端输入以下命令来使用 Spark 中的 R

./bin/sparkR

【讨论】：