在 Windows 上运行 Spark 时出错

Question

我正在尝试在 Windows 10 上安装 Apache Spark。我下载了 Spark 和 winutils.exe，设置了 SPARK_HOME、HADOOP_HOME，并更新了 PATH 变量以包含 Spark bin 路径。不过，当我运行 spark-shell 时，我收到以下错误。有什么问题？

C:\tools\spark-2.1.1-bin-hadoop2.7\bin>spark-shell
'""C:\Program' is not recognized as an internal or external command,
operable program or batch file.

Answer 1

我在尝试了很长时间并浏览了不同的文章后发现，这个问题与正确设置环境变量有关。事情实际上很简单，只需要正确设置就可以看到你的 spark shell工作，以下是提到的正确和工作的步骤。

1. 在“C”目录下或在完整路径之间没有空格的目录下安装 Java (1.7+)。就像我在“C:/Java”路径下安装了 java 1.8 版本一样。但是如果你已经在“Program Files”/“Program Files(86)”下安装了java，你需要把JAVA_HOME和PATH变量都用双引号括起来，比如JAVA_HOME="C:\Program Files\Java" and PATH=" %JAVA_HOME\bin%"。

   C:\Users\ankitthakur>java -version java版本“1.8.0_131” Java(TM) SE 运行时环境 (build 1.8.0_131-b11) Java HotSpot(TM) 64 位服务器 VM（内部版本 25.131-b11，混合模式）。

2. 在“C:\Scala”下安装 Scala 只是为了保持一致性，或者您可以选择任何其他目录。设置 SCALA_HOME 并添加到 PATH 变量中。

   C:\Users\ankitthakur>scala -version Scala 代码运行器版本 2.11.8 -- 版权所有 2002-2016，LAMP/EPF

3. 在“C:\Sbt”下安装 SBT，同样设置 SBT_HOME 和 PATH。

4. 从以下链接下载 Spark。请记住下载 Hadoop 的预构建版本，否则您需要构建下载的源代码，如果您已经安装，则可以通过 maven 执行此操作，否则下载并安装它。将它放在“C:\Spark”目录下只是为了保持一致性并设置 SPARK_HOME 和 PATH。 下载路径：http://spark.apache.org/downloads.html

5. 到这里就完成了，但是在 windows 系统中，如果我们在运行 spark-scripts 时没有安装 winutils.exe 文件，就会出现错误。所以处理这种情况从下面提到的路径下载它并将它放在“C:\Winutils\bin”目录下{我们需要创建这个目录}并设置HADOOP_HOME和PATH变量。

finalllyyyy !!!!!!，我们到这里就完成了，这似乎很长，但实际上并不相信我，但请确保您已将所有东西都准备好。请在我的机器上获取环境变量快照。 environment variables set for setting up spark.

Answer 2

我有同样的问题。只需将该 spark 文件夹粘贴到 C: 中，然后在环境变量中指定路径。它应该可以工作。