Spark 不再在 Windows 中运行答案

【问题标题】：Spark does't run in Windows anymoreSpark 不再在 Windows 中运行
【发布时间】：2021-06-28 11:14:53
【问题描述】：

我有 Windows 10，我按照 this guide 安装 Spark 并使其在我的操作系统上运行，只要使用 Jupyter Notebook 工具。我使用这个命令来实例化 master 并导入我工作所需的包： pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12 --master local[2]

但是，后来我发现没有根据上述指南实例化任何工作人员，我的任务真的很慢。因此，从this 中汲取灵感，由于集群管理器是由 Docker 运行的，我找不到任何其他方式将工作人员连接到集群管理器，因此我尝试使用以下命令手动设置所有内容： bin\spark-class org.apache.spark.deploy.master.Master

master 已正确实例化，所以我继续执行下一个命令： bin\spark-class org.apache.spark.deploy.worker.Worker spark://<master_ip>:<port> --host <IP_ADDR> 这给我返回了以下错误：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
21/04/01 14:14:21 INFO Master: Started daemon with process name: 8168@DESKTOP-A7EPMQG
21/04/01 14:14:21 ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[main,5,main]
java.lang.ExceptionInInitializerError
        at org.apache.spark.unsafe.array.ByteArrayMethods.<clinit>(ByteArrayMethods.java:54)
        at org.apache.spark.internal.config.package$.<init>(package.scala:1006)
        at org.apache.spark.internal.config.package$.<clinit>(package.scala)
        at org.apache.spark.deploy.master.MasterArguments.<init>(MasterArguments.scala:57)
        at org.apache.spark.deploy.master.Master$.main(Master.scala:1123)
        at org.apache.spark.deploy.master.Master.main(Master.scala)
Caused by: java.lang.reflect.InaccessibleObjectException: Unable to make private java.nio.DirectByteBuffer(long,int) accessible: module java.base does not "opens java.nio" to unnamed module @60015ef5
        at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:357)
        at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:297)
        at java.base/java.lang.reflect.Constructor.checkCanSetAccessible(Constructor.java:188)
        at java.base/java.lang.reflect.Constructor.setAccessible(Constructor.java:181)
        at org.apache.spark.unsafe.Platform.<clinit>(Platform.java:56)
        ... 6 more

从那一刻起，我以前运行的所有命令都不再起作用，它们返回了您可以看到的消息。我想我搞砸了一些 Java 的东西，但老实说，我不明白什么和在哪里。

我的java版本是：

java version "16" 2021-03-16
Java(TM) SE Runtime Environment (build 16+36-2231)
Java HotSpot(TM) 64-Bit Server VM (build 16+36-2231, mixed mode, sharing)

【问题讨论】：

看起来是java版本问题。你的版本是什么？
我用更多信息编辑了 OP。
Spark 不支持 Java 16。使用 Java 8/11。
确实是这个问题，谢谢。
不是windows。破坏 Spark 的是 Java 16。

标签： windows apache-spark pyspark jupyter-notebook

【解决方案1】：

我刚才也遇到了同样的错误，好像是Java版本的问题。

我安装了java、python、spark等。所有最新版本...！
遵循以下链接中提到的步骤..

https://phoenixnap.com/kb/install-spark-on-windows-10

遇到和你一样的错误..！
从 Oracle 网站下载 Java SE 8 版本..

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

已下载 jdk-8u281-windows-x64.exe

重置 JAVA_HOME。
启动 spark-shell - 完美打开，没有任何问题。

仅供参考：我既没有 java 也没有 spark 经验，如果有人觉得有问题，请纠正我。只是它对我有用，所以在这里提供相同的解决方案.. :)

谢谢，卡伦

【讨论】：

Spark 支持 Java 11，所以你应该使用它
你甚至可以使用openjdk，版本8或11，或者需要注册的“官方”java！
它对我有用。我正在使用 Spark 3.1.2、winutils 3.2.2 和 java 8。

【解决方案2】：

最简单的解决方案：

Spark 不支持最新版本的 Java (JDK)。请尝试安装 JDK 版本 8。这将解决错误。

【讨论】：

【解决方案3】：

我在 Ubuntu 上遇到了同样的问题。我将 JDK 从最新版本更改为 11，现在 Spark 一切正常

【讨论】：

这并不能真正回答问题。如果您有其他问题，可以点击提问。要在此问题有新答案时收到通知，您可以follow this question。一旦你有足够的reputation，你也可以add a bounty 来引起对这个问题的更多关注。 - From Review

【解决方案4】：

我在 MacOS 上遇到了类似的错误。问题在于 Java（我使用的是 JDK 17），必须降级或使用其他版本。

最终使用了这个： https://adoptium.net/releases.html?variant=openjdk11 下载并安装。可能必须删除您的 JDK17 版本。

【讨论】：