向具有多个实例的 DCOS Spark 提交作业？答案

【问题标题】：Submit job to DCOS Spark with multiple instances?向具有多个实例的 DCOS Spark 提交作业？
【发布时间】：2017-07-11 19:52:25
【问题描述】：

当我通过 CLI 提交作业时，我的 DCOS 集群中有两个 spark 实例

dcos spark run --submit-args="\
                 --driver-cores 8 \
                 --driver-memory 16384M \
                 --conf spark.eventLog.enabled=true \
                 --conf spark.eventLog.dir=hdfs://hdfs/history \
                 --class com.CalcPi \
                 <url to job -spark-test-assembly-0.0.5-SNAPSHOT.jar> 99000000"`

作业永远卡在队列中。但是当我只有一个实例时，一切正常。我已经尝试过了 --deploy-mode cluster --supervise

【问题讨论】：

您如何“当我通过 CLI 提交作业时”？添加问题的答案。

标签： apache-spark cluster-computing mesos mesosphere dcos

【解决方案1】：

希望以下配置选项是您正在寻找的答案：

dcos config set spark.app_id spark-one
dcos spark run ...
dcos config set spark.app_id spark-two
dcos spark run ...

【讨论】：