SPARK_SUBMIT_OPTIONS 在 Apache Zeppelin 0.7.3 中不起作用答案

【问题标题】：SPARK_SUBMIT_OPTIONS didn't work in Apache Zeppelin 0.7.3SPARK_SUBMIT_OPTIONS 在 Apache Zeppelin 0.7.3 中不起作用
【发布时间】：2018-09-22 09:13:42
【问题描述】：

尝试在Yarn集群上运行Spark Zeppelin，我在zeppeline-env.sh中设置了以下变量：

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_HOME=/opt/spark
export SPARK_SUBMIT_OPTIONS="--executor-memory 512m --driver-memory 512m --executor-cores 2 --queue onlineQ"

但它没有使用 SPARK_SUBMIT_OPTIONS 值在 YARN 上部署作业！例如executor-memory 默认为1024m。当我在 Zeppelin interpreter 设置中设置 executor-memory 时，它将被应用。我应该为 Spark Submit 设置 --queue 属性，有没有其他方法（除了 SPARK_SUBMIT_OPTIONS 变量）来设置它？

【问题讨论】：

标签： apache-spark apache-zeppelin

【解决方案1】：

注意，使用 Zeppelin，可以将 spark 驱动程序嵌入到 Zeppelin 解释器 java 应用程序中。

因此，所有设置“spark.driver.*”都将不起作用，因为 java 进程已经在运行。

您可以改为设置 zep 解释器 java 属性。

【讨论】：

【解决方案2】：

您可以在 spark 解释器设置中进行设置。

spark.driver.memory 等

【讨论】：