【发布时间】:2017-08-25 18:09:09
【问题描述】:
我正在构建一个 Mesos 集群来运行 Apache Spark。我更喜欢为我的 Spark 执行程序使用 Docker 容器,我可以使用 spark-submit 的客户端模式(使用--master mesos://mesosmaster:5050 和--conf spark.mesos.executor.docker.image=myimage:latest)来做到这一点,但我希望能够在集群模式下做同样的事情。
我有 MesosClusterDispatcher 正在运行并且可以向它提交作业(使用--master mesos://clusterdispatcher:7077 --mode cluster --supervised),但是当我指定一个 docker 映像供执行程序使用时,调度程序似乎忽略了参数并尝试直接在Mesos 沙盒。
集群调度器真的可以和spark.mesos.executor.docker.image结合吗?我希望尽可能将 Spark 与 Mesos 分离,以便它们可以独立升级,但显然如果集群调度程序无法使用 docker 映像,我将不得不重新考虑我的策略。
谢谢!
【问题讨论】:
标签: apache-spark docker cluster-computing mesos