【问题标题】:zeppelin-0.7.3 Interpreter pyspark not foundzeppelin-0.7.3 未找到解释器 pyspark
【发布时间】:2018-04-13 11:30:46
【问题描述】:

当我通过 Zeppelin 使用 pyspark 时出现以下错误。

python 和 spark 解释器工作正常,所有环境变量设置正确。

print os.environ['PYTHONPATH']

/x01/spark_u/spark/python:/x01/spark_u/spark/python/lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python:/x01/spark_u/spark/python /lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python/lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python/lib/pyspark.zip:/ x01/spark_u/spark/python:/x01/spark_u/spark/python/pyspark:/x01/spark_u/zeppelin/interpreter/python/py4j-0.9.2/src:/x01/spark_u/zeppelin/interpreter/lib/python

zepplin-env.sh 使用以下变量设置

export PYSPARK_PYTHON=/usr/local/bin/python2
export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/lib/py4j-0.10.4-src.zip:${PYTHONPATH}

export SPARK_YARN_USER_ENV="PYTHONPATH=${PYTHONPATH}"

查看以下日志文​​件

信息 [2017-11-01 12:30:42,972] ({pool-2-thread-4} RemoteInterpreter.java[init]:221) - 创建远程解释器 org.apache.zeppelin.spark.PySparkInterpreter org.apache.zeppelin.interpreter.InterpreterException: 段落_1509038605940_-1717438251的解释器pyspark不是 找到了

提前谢谢你

【问题讨论】:

    标签: pyspark apache-zeppelin


    【解决方案1】:

    我找到了上述问题的解决方法。当我在目录中创建注释时,不会发生未找到解释器的问题。仅当我在顶层使用注释时才会发生此问题。此外,我发现此问题不会发生在0.7.2版本 前任 : enter image description here

    【讨论】:

      猜你喜欢
      • 2018-10-04
      • 2016-11-07
      • 2019-12-03
      • 2016-08-12
      • 2019-01-27
      • 2018-09-05
      • 2017-08-17
      • 2016-01-18
      • 2018-12-02
      相关资源
      最近更新 更多