spark-shell 系统找不到指定的路径答案

【问题标题】：spark-shell The system cannot find the path specifiedspark-shell 系统找不到指定的路径
【发布时间】：2018-02-15 07:57:13
【问题描述】：

我正在尝试在 Windows 7 的 cmd 提示符下运行 spark-shell 命令。我已经安装了 hadoop 并将其保存在 C:\winutils\hadoop-common-2.2.0-bin-master\bin 和 Spark 下 C :\Spark\spark-2.2.1-bin-hadoop2.7\bin.

在执行 spark-shell 时，出现以下错误。

C:\Spark\spark-2.2.1-bin-hadoop2.7\bin>spark-shell 系统找不到指定的路径。

以下是我的环境变量

HADOOP_HOME C:\winutils

JAVA_HOME   C:\Program Files\IBM\Java80\jre

PATH        C:\Users\IBM_ADMIN\AppData\Local\Programs\Python\Python36-32;C:\IBM\InformationServer\Clients\Classic;C:\Program Files\IBM\Java80\jre;C:\Windows\system32

SCALA_HOME  C:\Program Files (x86)\scala\

截图

【问题讨论】：

你在哪里安装了 spark？我在你的路上看到了
C:\Spark\spark-2.2.1-bin-hadoop2.7\bin --> Apache Spark 路径
C:\Spark\spark-2.2.1-bin-hadoop2.7\bin>spark-shell 系统找不到指定的路径。
你没有“.”在路径中。试试 C:\Spark\spark-2.2.1-bin-hadoop2.7\bin\spark-shell
把“.”放在哪里?在 bin 文件夹下我有 spark-shell.cmd

标签： apache-spark

【解决方案1】：

您的 JAVA_HOME 设置为 JRE，请确保将其指向您的 JDK 文件夹（它应该位于您的 JRE 旁边）

【讨论】：

【解决方案2】：

我在尝试使用 Windows 7 安装 Spark 本地时遇到了同样的问题。请确保以下路径正确，我相信我会与您合作。

创建 JAVA_HOME 变量：C:\Program Files\Java\jdk1.8.0_181
将以下部分添加到您的路径中：;%JAVA_HOME%\bin
创建 SPARK_HOME 变量：C:\spark-2.3.0-bin-hadoop2.7
将以下部分添加到您的路径中：;%SPARK_HOME%\bin
Hadoop 路径中最重要的部分应该在 winutils.ee 之前包含 bin 文件，如下所示：C:\Hadoop\bin您一定会在此路径中找到 winutils.exe。
创建 HADOOP_HOME 变量：C:\Hadoop
将以下部分添加到您的路径中：;%HADOOP_HOME%\bin

现在您可以运行 cmd 并编写 spark-shell 它将工作。

【讨论】：

所有这些都做了，但仍然出现“找不到指定路径”错误

【解决方案3】：

我在 Windows 10 Pro 上使用 Apache Spark 时遇到了同样的问题。

注意：

卸载任何8以上的JAVA JDK（jdk1.8.0_181）--11-16导致问题。
使用“certutil -hashfile c:\users\username\Downloads\spark-2.7.5-bin-hadoop2.7.tgz SHA512”测试 Apache 文件。请记住将“用户名”替换为例如“certutil -hashfile c:\users*datamind*\Downloads\spark-2.4.5-bin-hadoop2.7.tgz SHA512”
搜索“编辑环境变量”。
C:\Program Files\Java\jdk1.8.0_181
点击“用户变量”中的路径;%JAVA_HOME%\bin
对 HADOOP_HOME 和 JAVA_HOME 重复步骤 2 和 3。

请点击此链接并逐步完成所有操作。 https://phoenixnap.com/kb/install-spark-on-windows-10

【讨论】：

【解决方案4】：

我也面临同样的问题。我所做的最重要的一点，对环境变量进行了更改

之前我使用 JAVA_HOME=C:\java\jdk1.8.0_311\bin 这就是我遇到问题的原因。

但应该是
JAVA_HOME=C:\java\jdk1.8.0_31

spark 和 Hadoop 照常设置。 SPARK_HOME=C:\spark\spark-3.0.3-bin-hadoop2.7 HADOOP_HOME=C:\hadoop

在系统变量下选择路径并放入“C:\java\jdk1.8.0_31\bin, C:\hadoop\bin,C:\spark\spark-3.0.3-bin-hadoop2.7\bin”

【讨论】：