【问题标题】:Installing Spark on Windows not working在 Windows 上安装 Spark 不起作用
【发布时间】:2017-12-26 01:49:24
【问题描述】:

我正在尝试在我的 Windows 10 计算机上安装 Apache Spark。我安装 Spark 的第一步是下载 Java from here 然后通过此路径下载:C:\Program Files (x86)\Java 在此安装过程中下载的一个文件夹是:\jre1.8.0_151

接下来我安装了JDK from here 并下载了windows x86 版本。我在Java文件夹中使用了与上面相同的路径来下载它。完成后,Java 文件夹中有两个文件夹:jdk1.8.0_151 and jre1.8.0_151

之后,我将 JAVA_HOME 变量设置为指向C:\PROGRA~1(x86)\Java\jdk1.8.0_151,并在Path 添加%JAVA_HOME%,然后安装Scala from here 并下载适用于Windows 的Scala 二进制文件。环境路径在path中添加为:C:\PROGRA~1(x86)\scala\bin

接下来我安装了Spark from here 并安装了spark-2.2.1-bin-hadoop2.7.tgz 之后,我将这个文件夹放在这里D:\spark-2.2.1-bin-hadoop2.7然后将环境变量添加为SPARK_HOME,路径为:D:\spark-2.2.1-bin-hadoop2.7\bin,然后我将path 更新为%SPARK_HOME%\bin

最后我试着看看是否一切都安装好了。我输入了java -version 并安装了正确的java。然后我输入了scala,scala 对我开放,我可以输入表达式等。然后我输入了spark-shell,但我收到了这个错误:

'spark-shell' 未被识别为内部或外部命令, 可运行的程序或批处理文件。

我做错了什么没有使火花打开?请注意:我对一切都使用 cmd。

【问题讨论】:

    标签: java windows scala apache-spark pyspark


    【解决方案1】:

    看起来您将%SPARK_HOME% 设置为错误的位置,因此当“我随后将path 更新为%SPARK_HOME%\bin”时,它导致添加D:\spark-2.2.1-bin-hadoop2.7\bin\bin 和双\bin这显然是错误的。 %SPARK_HOME% 应该没有\bin

    一般你可以通过在命令行中调用echo %PATH%SET来显示所有环境变量来测试你的环境变量

    【讨论】:

    • 嗯,我明白了,当我更新它时,它仍然给我一个错误提示:The system cannot find the path specified.
    • @user2896120,你调整了%PATH%%SPARK_HOME%哪一个?我相信您需要调整%SPARK_HOME%,因为spark-shell.cmd 间接调用"%SPARK_HOME%\bin\spark-submit2.cmd",它依赖于%SPARK_HOME% 中的无\bin。如果不是这种情况,您可能应该编辑bin 文件夹下的所有.cmd 文件,在第一行的@echo off 之前添加REM (即评论)。通过这种方式,您可以找出哪个命令失败了。不知不觉,我不知道如何帮助你。
    • 它现在可以工作了,问题出在 java_home 我必须删除路径中的 (x86) !
    • @user2896120,是的,我错过了那个错误。还好你也找到了。
    • 谢谢@SergGr!你救了我的命!
    猜你喜欢
    • 1970-01-01
    • 2014-06-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-11-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多