无法初始化火花上下文答案

【问题标题】：Couldn't initialize spark context无法初始化火花上下文
【发布时间】：2018-07-10 03:41:51
【问题描述】：

我正在尝试在 Python 中初始化 Spark Context 变量。

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)

但我收到以下错误：

py4j.protocol.Py4JJavaError: 调用时出错 None.org.apache.spark.api.java.JavaSparkContext。： java.lang.NoClassDefFoundError：无法初始化类 org.apache.spark.internal.config.package$
在 org.apache.spark.SparkConf.validateSettings(SparkConf.scala:546) 在 org.apache.spark.SparkContext.(SparkContext.scala:373) 在 org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:58) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:423) 在 py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:247）在 py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）在 py4j.Gateway.invoke(Gateway.java:236) 在 py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80) 在 py4j.commands.ConstructorCommand.execute（ConstructorCommand.java:69）在 py4j.GatewayConnection.run（GatewayConnection.java:214）在 java.lang.Thread.run(Thread.java:748)

我四处寻找解决方案，但没有得到确切的解决方案。请帮忙。

【问题讨论】：

标签： python apache-spark pyspark

【解决方案1】：

将 SPARK_LOCAL_IP 环境变量设置为 localhost 解决了我的错误。

【讨论】：

对我来说就是这样！只需将export SPARK_LOCAL_IP=localhost 破解到您的终端即可。

【解决方案2】：

请尝试将 master 称为“local[*]”，而不仅仅是“local”。

【讨论】：

【解决方案3】：

你有这套吗？

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

为了确定，在 spark 目录中添加 py4j zip 的路径（我的是 py4j-0.10.1-src.zip）为：

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH

【讨论】：