在 Mesos 上具有不同内存量的 Spark 执行器

Question

是否可以在 Mesos 集群上拥有具有不同内存量的执行程序？还是我受到内存最少的机器的限制？ （假设我想使用所有可用的 CPU）。

Answer 1

简短的回答：没有。

不幸的是，Spark Mesos 和 YARN 只允许为每台机器提供与 最差 机器一样多的资源（内核、内存等）有 (discussion)。理想情况下，集群应该是同构的，以便充分利用其资源。

但是，您的问题可能存在解决方法。根据上面的链接源，Spark 独立允许在某些机器上创建多个工作器。您可以修改您的工作人员配置以适合最差机器，并在这些机器上启动多个工作人员。

例如，假设两台计算机分别具有 4G 和 20G 内存，您可以在后者上创建 5 个工作器，每个工作器的配置仅使用 4G 内存，受第一台机器的限制。