【问题标题】:Apache Spark: Can the MesosClusterDispatcher run executors in Docker containers?Apache Spark:MesosClusterDispatcher 可以在 Docker 容器中运行执行程序吗?
【发布时间】:2017-08-25 18:09:09
【问题描述】:

我正在构建一个 Mesos 集群来运行 Apache Spark。我更喜欢为我的 Spark 执行程序使用 Docker 容器,我可以使用 spark-submit 的客户端模式(使用--master mesos://mesosmaster:5050--conf spark.mesos.executor.docker.image=myimage:latest)来做到这一点,但我希望能够在集群模式下做同样的事情。

我有 MesosClusterDispatcher 正在运行并且可以向它提交作业(使用--master mesos://clusterdispatcher:7077 --mode cluster --supervised),但是当我指定一个 docker 映像供执行程序使用时,调度程序似乎忽略了参数并尝试直接在Mesos 沙盒。

集群调度器真的可以和spark.mesos.executor.docker.image结合吗?我希望尽可能将 Spark 与 Mesos 分离,以便它们可以独立升级,但显然如果集群调度程序无法使用 docker 映像,我将不得不重新考虑我的策略。

谢谢!

【问题讨论】:

    标签: apache-spark docker cluster-computing mesos


    【解决方案1】:

    看看这个 https://github.com/wangqiang8511/docker-spark-mesos

    它看起来应该可以工作,虽然我在部署到更大的集群时遇到了问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-01-03
      • 2014-03-31
      • 2013-04-24
      • 1970-01-01
      • 1970-01-01
      • 2023-01-28
      相关资源
      最近更新 更多