【问题标题】:Spark on windows 10 not workingWindows 10 上的 Spark 无法正常工作
【发布时间】:2019-01-12 13:53:23
【问题描述】:

我正在尝试让 spark 在 win10 上运行。当我尝试运行 spark shell 时出现此错误:

'Spark\spark-2.0.0-bin-hadoop2.7\bin..\jars""\不被识别为内部或外部命令、可运行程序或批处理文件。

找不到 Spark jars 目录。您需要在运行此程序之前构建 Spark。

我正在为 hadoop 2.7 或更高版本使用预构建的 spark。我已经安装了 java 8、eclipse neon、python 2.7、scala 2.11,得到了 hadoop 2.7.1 的 winutils,但我仍然得到这个错误。

当我下载 spark 时,它在 tgz 中,提取时里面还有另一个 tzg,所以我也提取了它,然后我得到了所有的 bin 文件夹和东西。我需要访问 spark-shell。有人可以帮忙吗?

编辑: 我最终使用的解决方案:

1) 虚拟盒子

2) Linux 薄荷糖

【问题讨论】:

  • 您能否发布完整的错误详细信息,以便我们更好地了解问题?

标签: apache-spark windows-10


【解决方案1】:

我在构建 Spark 时遇到了同样的错误。您可以将提取的文件夹移动到 C:\

参考这个: http://techgobi.blogspot.in/2016/08/configure-spark-on-windows-some-error.html

【讨论】:

    【解决方案2】:

    您可能给 Spark bin 提供了错误的文件夹路径。

    只需打开命令提示符并将目录更改为 spark 文件夹中的 bin

    输入 spark-shell 进行检查。

    参考:Spark on win 10

    【讨论】:

      【解决方案3】:

      “在Windows上,我发现如果它安装在路径中有空格的目录(C:\ " 或者 如果您在“C:\Program Files (x86)..”下安装了 Spark,请将 PATH 环境变量和 SPARK_HOME 用户变量中的“Program Files (x86)”替换为 Progra~2。

      【讨论】:

        猜你喜欢
        • 2021-10-30
        • 1970-01-01
        • 2016-10-13
        • 2017-02-09
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多