如何在 Windows 上配置 Apache Spark？ [关闭]

Question

我想在我的 Windows 机器上安装 Apache Spark。我必须遵循任何特定于 Windows 的步骤吗？

Answer 1

1. 从the Spark website下载spark-1.6.0-bin-hadoop2.6.tgz并打开，以7zip为例。

2. 将其解压缩到一个文件夹，例如 C:\sparktest。所以我的结构现在是 C:\SparkTest\spark-1.6.0-bin-hadoop2.6\

3. 我们为 Windows 下载 hadoop2.6.0： https://www.barik.net/archive/2015/01/19/172716/

4. 我们在某处提取它。

5. 在 Spark 基本文件夹中，我们进入 conf 文件夹，其中应该找到名为 log4j.properties.template 的文件。 我们删除了模板部分，所以名字应该是log4j.properties。为了我们自己的理智，我们可以打开文件并将rootCategory从INFO更改为WARN

6. 将 Spark bin 文件夹添加到系统的 PATH 环境变量中。

7. 我们创建一个环境变量SPARK_HOME，我们将其更改为 Spark 基本文件夹 (spark-1.6.0-bin-hadoop2.6)

8. 我们创建了 HADOOP_HOME 环境变量，我们将其设置为提取的 Hadoop 基本文件夹

就是这样

以后你必须学习 sbt 和 scala。