spark-submit 在 cmd 中的任何地方都不起作用答案

【问题标题】：spark-submit won't work anywhere in cmdspark-submit 在 cmd 中的任何地方都不起作用
【发布时间】：2018-03-19 03:46:21
【问题描述】：

我正在尝试从我的 python 脚本和数据集为 H:\spark_material 的驱动器/文件夹运行 spark-submit 命令。它只是行不通！

但是，如果我将我的 python 脚本复制到这个文件夹 C:\spark\bin 中，那么它就可以工作。

我认为这与环境变量有关。这是我的路径 = %JAVA_HOME%\bin; %SPARK_HOME%\bin

这是我的变量： HADOOP_HOME = C:\winutils JAVA_HOME = C:\jdk SPARK_HOME = C:\spark

Java 已正确安装，因为我尝试在 CMD 中的任何位置键入“java -version”并且它可以正常工作！！

【问题讨论】：

“它就是行不通！” 不在这里也行。 H:\spark_material 是什么？！我们怎么知道里面有什么问题呢？
What is the reason for '...' is not recognized as an internal or external command, operable program or batch file?的可能重复
@Ben 我查看了您的PATH，我可以看到错误：C:\spark\bin 有剩余空间。这就是为什么在该目录中找不到任何内容的原因，因为该前导空格字符导致文件夹路径无效。我还强烈建议在 PowerShell 的文件夹路径之后移动 C:\Program Files (x86)\NVIDIA Corporation\PhysX\Common 和 C:\ProgramData\Oracle\Java\javapath。任何应用程序安装程序都不应在最重要的标准 Windows 路径之前注册应用程序的文件夹路径，但许多安装程序的编码错误。
我们可以看看你正在使用的python代码吗？是否有任何使用相对路径的东西可能是一个问题。
@JacekLaskowski 'H:\spark_material' 是保存我的 python 脚本的位置。

标签： python-3.x apache-spark cmd pyspark environment-variables

【解决方案1】：

这很神秘——我在我的机器上一一重新安装了除操作系统之外的所有东西，我认为这是 Python 发行版的一个问题。当我重新安装 Canopy(enthought) 时，spark-submit 命令开始工作。我仍然不知道为什么会发生这种情况，因为即使在我以前版本的 Canopy (Python) 中也能正常工作。

感谢大家的回复和贡献。从你们那里学到了很多。

【讨论】：

【解决方案2】：

打开你的 cmd 并输入路径并检查 apache spark 路径是否指定到 bin 文件夹如果不是，请修复您的路径

【讨论】：

它在那里....C:\>path PATH=C:\Program Files (x86)\NVIDIA Corporation\PhysX\Common;C:\ProgramData\Oracle\Java\javapath;C: \Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\jdk\bin; C:\spark\bin
你的路径没有问题，很抱歉不确定window server 2012是否有任何变化