在 Windows 上使用 pyspark 不起作用-py4j答案

【问题标题】：Using pyspark on Windows not working- py4j在 Windows 上使用 pyspark 不起作用-py4j
【发布时间】：2019-03-09 20:30:35
【问题描述】：

我使用 this tutorial 和 this 在 Windows 上安装了 Zeppelin。我还安装了 java 8 以避免出现问题。

我现在可以启动 Zeppelin 服务器，并且正在尝试运行此代码 -

%pyspark
a=5*4
print("value = %i" % (a))
sc.version

我收到此错误，与 py4j 有关。我之前在这个库上遇到过其他问题（与here 相同），为了避免这些问题，我将我计算机上 Zeppelin 和 Spark 中的py4j 库替换为最新版本-py4j 0.10.7。

这是我得到的错误-

Traceback (most recent call last):
  File "C:\Users\SHIRM~1.ARG\AppData\Local\Temp\zeppelin_pyspark-1240802621138907911.py", line 309, in <module>
    sc = _zsc_ = SparkContext(jsc=jsc, gateway=gateway, conf=conf)
  File "C:\Users\SHIRM.ARGUS\spark-2.3.2\spark-2.3.2-bin-hadoop2.7\python\pyspark\context.py", line 118, in __init__
    conf, jsc, profiler_cls)
  File "C:\Users\SHIRM.ARGUS\spark-2.3.2\spark-2.3.2-bin-hadoop2.7\python\pyspark\context.py", line 189, in _do_init
    self._javaAccumulator = self._jvm.PythonAccumulatorV2(host, port, auth_token)
  File "C:\Users\SHIRM.ARGUS\Documents\zeppelin-0.8.0-bin-all\interpreter\spark\pyspark\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1525, in __call__
  File "C:\Users\SHIRM.ARGUS\Documents\zeppelin-0.8.0-bin-all\interpreter\spark\pyspark\py4j-0.10.7-src.zip\py4j\protocol.py", line 332, in get_return_value
py4j.protocol.Py4JError: An error occurred while calling None.org.apache.spark.api.python.PythonAccumulatorV2. Trace:

我用谷歌搜索了它，但找不到发生过这种情况的任何人。

有人知道我该如何解决这个问题吗？

谢谢

【问题讨论】：

标签： apache-spark pyspark apache-zeppelin py4j

【解决方案1】：

我觉得你已经安装了 Java 9 或 10。卸载其中任何一个版本并从这里安装 Java 8 的新副本：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

并且在 hadoop_env.cmd 中设置 JAVA_HOME（使用任何文本编辑器打开）。

注意：Java 8 或 7 是稳定版本，可以使用和卸载任何现有的 JAVA 版本。确保在 JAVA_HOME 中添加 JDK（不是 JRE）。

【讨论】：

我已经安装了这个确切的版本，并将 JAVA_HOME 环境更改为C:\Program Files\Java\jre1.8.0_181，但我也安装了 Java 10。它应该被删除吗？为什么？
为什么要使用多个版本的Java？而且你需要设置JDK而不是JRE的路径。
卸载它并更改为JDK，但它仍然无法正常工作:(另一件事-启动服务器时，日志在Server.java[doStart]:327) - jetty-9.2.15.v20160210上卡了很长时间。也许它与某种相关？ .. 如果没有，还有其他想法吗？谢谢
为什么不设置 Hortonworks 沙盒？它也有齐柏林飞艇。 hortonworks.com/products/sandbox
你有什么版本的 Zeppelin？我看到它 0.6.2

【解决方案2】：

我今天遇到了同样的问题，我通过在系统环境中添加PYTHONPATH来解决它：
%SPARK_HOME%\python\lib\py4j;%SPARK_HOME%\python\lib\pyspark

【讨论】：