--SPARK_SUBMIT_OPTIONS 中的文件在 zeppelin 中不起作用答案

【问题标题】：--files in SPARK_SUBMIT_OPTIONS not working in zeppelin--SPARK_SUBMIT_OPTIONS 中的文件在 zeppelin 中不起作用
【发布时间】：2017-06-20 16:12:19
【问题描述】：

我有一个 python 包，其中包含许多内置在 .egg 文件中的模块，我想在 zeppelin notebook 中使用它。根据 zeppelin 文档，要将这个包传递给 zeppelin spark 解释器，您可以通过 conf/zeppelin-env.sh 中 SPARK_SUBMIT_OPTIONS 中的 --files 选项将其导出。

当我通过 SPARK_SUBMIT_OPTIONS 中的 --files 选项添加 .egg 时，zeppelin notebook 不会抛出错误，但我无法在 zeppelin notebook 中导入模块。

传递.egg文件zeppelin spark解释器的正确方法是什么？

Spark 版本是 1.6.2，zeppelin 版本是 0.6.0

zepplein-env.sh 文件包含以下内容：

export SPARK_HOME=/home/me/spark-1.6.1-bin-hadoop2.6
export SPARK_SUBMIT_OPTIONS="--jars /home/me/spark-csv-1.5.0-s_2.10.jar,/home/me/commons-csv-1.4.jar --files /home/me/models/Churn-zeppelin/package/build/dist/fly_libs-1.1-py2.7.egg"

【问题讨论】：

标签： pyspark apache-zeppelin

【解决方案1】：

您还需要调整执行器节点上的 PYTHONPATH：

export SPARK_SUBMIT_OPTIONS="... --conf 'spark.executorEnv.PYTHONPATH=fly_libs-1.1-py2.7.egg:pyspark.zip:py4j-0.10.3-src.zip' ..."

似乎无法附加到现有的 python 路径，因此请确保列出所有必需的依赖项。

【讨论】：