Spark/Hadoop/Scala/Java/Python 之间是否存在版本兼容性问题？

Question

我在通过 cmd 运行 spark-shell 命令时遇到错误，但不幸的是到目前为止没有任何运气。我安装了 Python/Java/Spark/Hadoop(winutils.exe)/Scala，版本如下：

• Python：3.7.3
• Java：1.8.0_311
• 火花：3.2.0
• Hadoop(winutils.exe):2.5x
• scala sbt: sbt-1.5.5.msi

我按照以下步骤通过 cmd 运行 spark-shell (C:\Program Files\spark-3.2.0-bin-hadoop3.2\bin>)：

1. 创建JAVA_HOME 变量：C:\Program Files\Java\jdk1.8.0_311\bin
2. 将以下部分添加到您的路径中：%JAVA_HOME%\bin
3. 创建SPARK_HOME 变量：C:\spark-3.2.0-bin-hadoop3.2\bin
4. 将以下部分添加到您的路径中：%SPARK_HOME%\bin
5. Hadoop 路径中最重要的部分应该在winutils.exe 之前包含bin 文件，如下所示：C:\Hadoop\bin 当然你会在此路径中找到winutils.exe。
6. 创建HADOOP_HOME 变量：C:\Hadoop
7. 将以下部分添加到您的路径中：%HADOOP_HOME%\bin

我错过了什么吗？我已在另一个线程 (spark-shell command throwing this error: SparkContext: Error initializing SparkContext) 中发布了带有错误详细信息的问题

Answer 1

您在手动安装所有东西时遇到了困难。您可能也需要 Scala，对您正在安装的版本非常警惕，从您的示例来看，它似乎是 Scala 2.12。

但你是对的：Spark 在版本匹配方面要求极高。 Java 8 很好。 Java 11 也可以，但不是最新版本。

或者，您可以：

1. 尝试一个非常简单的应用程序，例如https://github.com/jgperrin/net.jgp.books.spark.ch01
2. 将 Docker 与预先制作的映像一起使用，如果您的目标是使用 Python，我建议您使用同时预配置 Jupiter 和 Spark 的映像。