来自不同 Spark 应用程序的两个执行程序/驱动程序可以在集群模式下在同一个节点上运行吗？

Question

我在 Medium 上读过一篇文章，声称执行器的数量 + 1（对于驱动程序）应该是 3 的倍数，以有效利用机器上的核心（在这种情况下为 16 个核心，即每executor 和 1 将保留给 OS 和节点管理器）

由于实际原因，我无法通过在集群上进行试验来验证此声明。有人试过这个吗？或参考说明 Yarn 节点将/不会在另一个 Spark 应用程序之间共享集群资源的代码/文档？

Answer 1

这是一个很大的问题，但简而言之-基于文本中的标题和YARN：

• 您将获得您通过 Spark（提交）请求的 YARN 分配的资源。

• 一个节点有很多执行者。

• 您不能同时共享一个 Executor，但如果 YARN 动态资源分配生效，则可以在 Stage 完成后放弃 Executor。

• 由于一个节点有许多 Executor，许多 Spark 应用程序可以在同一个节点 Worker 上同时运行它们的任务，前提是它们被授予了这些资源。