Windows 上的 Spark -“系统找不到指定的路径。”答案

【问题标题】：Spark on Windows - "The system cannot find the path specified."Windows 上的 Spark -“系统找不到指定的路径。”
【发布时间】：2017-12-06 19:22:39
【问题描述】：

从我目前所做的研究来看，这似乎是尝试在 Windows 上使用 Spark 的常见问题，并且通常与 PATH 设置不正确有关。但是，我已经三次检查了 PATH，并尝试了我在网上遇到的许多解决方案，但我仍然无法弄清楚是什么导致了问题。

在 Windows 7（64 位）中尝试从命令提示符运行 spark-shell 会返回 The system cannot find the path specified。
但是我可以从 spark-shell.exe 所在的目录中运行相同的命令（尽管有一些错误），这让我相信这是一个 PATH 问题，就像大多数其他关于这个问题的帖子一样在网上。不过……

Spark-shell 在从目录调用时工作：

Shell 似乎在工作：
据我所知，我的 PATH 似乎设置正确。我遇到的这个问题的大多数解决方案都涉及修复 %JAVA_HOME% 系统变量以指向正确的位置，并将 '%JAVA_HOME%/bin' 添加到 PATH（以及包含'spark-shell. exe')，但是我的 JAVA_HOME 变量和 PATH 变量似乎都包含所需的目录。

【问题讨论】：

【解决方案1】：

原来这个问题是由我的计算机上以前安装的 Spark 版本引起的。当我尝试安装独立 Spark 客户端时，已经通过“pip install PySpark”安装了 PySpark，并且在安装了两个 Spark 实例后，运行“spark-shell”会在引用这两个位置时产生冲突。

因此，即使 PATH 设置正确，“spark-shell”引用以前的 PySpark 安装和独立的 Spark 安装这一事实也会产生问题。

我注意到，当我从命令行运行“pyspark”时，它返回了两个“系统找不到指定路径”的实例。错误..这让我相信 pyspark/spark 安装在两个位置，并且当我调用“spark-shell”时可能会导致解析 PATH 出现问题。

我运行了“pip uninstall pyspark”，然后当我从命令行重新尝试“spark-shell”时，它按预期工作！

【讨论】：