【问题标题】:Run Spark with additional parameter through Zeppelin通过 Zeppelin 使用附加参数运行 Spark
【发布时间】:2016-02-15 08:59:59
【问题描述】:

我希望 Zeppelin 使用几个附加参数 (--total-executor-cores 200 --executor-memory 20g --driver-memory 5g) 启动 Spark 我正在尝试通过 Zeppelin UI 将这些参数添加到 spark 解释器。我单击编辑按钮并添加这三个参数,但是当我单击保存时它们消失了,我可以看到我的 Spark 是由 Zeppelin 启动的,没有这些参数。

您能否给我一个提示,如何让 Zeppelin 使用其他参数启动 Spark?

【问题讨论】:

    标签: parameters apache-spark apache-zeppelin


    【解决方案1】:

    看看conf/zeppelin-env.sh(或conf/zeppelin-env.sh.template)。在“Spark 解释器配置”部分下该文件的 cmets 中:

    # export SPARK_SUBMIT_OPTIONS                   # (optional) extra options to pass to spark submit. eg) "--driver-memory 512M --executor-memory 1G".
    

    【讨论】:

      猜你喜欢
      • 2020-07-27
      • 2018-07-14
      • 2017-03-11
      • 1970-01-01
      • 2020-11-29
      • 2016-01-23
      • 2018-10-29
      • 2018-08-02
      • 2017-03-19
      相关资源
      最近更新 更多