带有 Hadoop 发行版的 Apache Spark 无法在 Windows 上运行答案

【问题标题】：Apache Spark with Hadoop distribution failing to run on Windows带有 Hadoop 发行版的 Apache Spark 无法在 Windows 上运行
【发布时间】：2016-06-21 09:56:28
【问题描述】：

我尝试使用 Cygwin 在 Windows 上运行 spark-1.5.1-bin-hadoop2.6 发行版（以及具有相同结果的新版 Spark）。
当尝试在 bin 文件夹中执行 spark-shell 脚本时，我得到以下输出：错误：无法找到或加载主类 org.apache.spark.launcher.Main

我尝试将 CLASSPATH 设置为 lib/spark-assembly-1.5.1-hadoop2.6.0.jar 的位置，但无济于事。

（仅供参考：我可以在我的 MAC 上运行相同的发行版，无需额外的设置步骤）

请协助寻找在 Windows 上执行 Cygwin 的解决方案。

【问题讨论】：

标签： windows apache-spark cygwin

【解决方案1】：

我在 Windows 10 和 spark-1.6.0 上遇到并解决了 cywin 的类似问题。

使用 Maven 构建（也许你已经过了这一步）

mvn -DskipTests 包
确保将 JAVA_HOME 设置为 JDK

$ export JAVA_HOME="C:\Program Files\Java\jdk1.8.0_60"

$ ls "$JAVA_HOME"

bin 包括 LICENSE THIRDPARTYLICENSEREADME.txt ....

使用 Windows 批处理文件。如果您在使用 cygwin 时遇到终端问题，请从 PowerShell 或 CommandPrompt 启动。

$ chmod a+x bin/spark-shell.cmd

$ ./bin/spark-shell.cmd

【讨论】：

在 Spark 2.0 上也适用于我，很容易忘记 bat 文件也适用于 Cygwin/MINGW64 控制台。

【解决方案2】：

我对该问题的解决方案是将 Spark 安装移动到其中没有空格的路径中。在Program Files 下我得到了上述错误，但是将它直接移动到C:\ 下并运行spark-shell.bat 文件将其清除。

【讨论】：