无法在 Windows 10 Spark 3.2.0 安装上启动 spark-shell

Question

问题

当我尝试运行 spark-shell 时，我收到一条巨大的消息错误，您可以在此处看到： https://pastebin.com/8D6RGxUJ

安装

我使用了this tutorial，但我已经安装了 python 和 java。我改用spark 3.2.0。

配置： 视窗 10

• HADOOP_HOME : C:\hadoop 下载自https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.0/bin

• JAVA_HOME : C:\PROGRA~2\Java\jre1.8.0_311

• SPARK_HOME : C:\Spark\spark-3.2.0-bin-hadoop3.2

• 在路径中：

  • %SPARK_HOME%\bin
  • %HADOOP_HOME%\bin

Answer 1

我的猜测是您必须将 winutils.exe 放在与 $SPARK_HOME%\bin 文件夹相同的文件夹中。我发现在从头开始并关注this tutorial！

Answer 2

通过关注this answer for a similar question，我从 spark 3.2.1 降级到 3.0.3，这似乎解决了这个问题。