【发布时间】:2018-04-13 11:30:46
【问题描述】:
当我通过 Zeppelin 使用 pyspark 时出现以下错误。
python 和 spark 解释器工作正常,所有环境变量设置正确。
print os.environ['PYTHONPATH']
/x01/spark_u/spark/python:/x01/spark_u/spark/python/lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python:/x01/spark_u/spark/python /lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python/lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python/lib/pyspark.zip:/ x01/spark_u/spark/python:/x01/spark_u/spark/python/pyspark:/x01/spark_u/zeppelin/interpreter/python/py4j-0.9.2/src:/x01/spark_u/zeppelin/interpreter/lib/python
zepplin-env.sh 使用以下变量设置
export PYSPARK_PYTHON=/usr/local/bin/python2
export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/lib/py4j-0.10.4-src.zip:${PYTHONPATH}
export SPARK_YARN_USER_ENV="PYTHONPATH=${PYTHONPATH}"
查看以下日志文件
信息 [2017-11-01 12:30:42,972] ({pool-2-thread-4} RemoteInterpreter.java[init]:221) - 创建远程解释器 org.apache.zeppelin.spark.PySparkInterpreter org.apache.zeppelin.interpreter.InterpreterException: 段落_1509038605940_-1717438251的解释器pyspark不是 找到了
提前谢谢你
【问题讨论】: