在 Mesos 集群上运行多个 Spark 作业

Question

我想在我的 Mesos 集群上运行多个 spark 作业，并让所有 spark 作业共享同一个 spark 框架。这可能吗？ 我尝试运行 MesosClusterDispatcher 并将 spark 作业连接到调度程序，但每个 spark 作业都会启动自己的“Spark 框架”（我尝试同时运行客户端模式和集群模式）。 这是预期的行为吗？ 是否可以在多个火花作业之间共享相同的火花框架？

Answer 1

这是正常的，这是预期的行为。

据我所知，在 Mesos 中，SparkDispatcher 负责为作为框架的 Spark 驱动程序分配资源。一旦分配了 Spark 驱动程序，它就负责与 Mesos 通信并接受提议以分配将执行任务的执行程序。