如何在运行 Spark 作业之前启动 EMR 集群中的所有节点

Question

我有一个 EMR 集群，最多可以扩展到 10 个SPOT 节点。不使用时默认为 1 个CORE 节点（和 1 个MASTER）以明显节省成本。因此，它总共可以扩展到最多 11 个节点 1 CORE + 10 SPOT。 当我运行我的 spark 作业时，需要一段时间来启动 10 个SPOT 节点，而我的作业最终需要大约 4 小时才能完成。 我尝试等到所有节点都启动后，然后取消我的作业并立即重新启动它，以便它可以立即开始使用最大资源，而我的作业只花了大约 3 小时就完成了。

我有两个问题：

1. 有没有办法让 YARN 在开始工作之前启动所有必要的资源？我已经在提交作业时指定了诸如num-executors、executor-memory、executor-cores 等 spark-submit 参数。

2. 我还没有做成本分析，但是上面提到的第 1 点值得做吗？ AWS 是否对启动时间收费，即使作业没有运行？

很想知道您的见解和建议。

谢谢

Answer 1

我假设您为此使用 AWS 托管扩展。如果您可以切换到自定义缩放，您可以设置更积极的缩放规则，您还可以设置每个向上和向下缩放的节点数，这将帮助您更快地收敛到所需的节点数。

自定义缩放的唯一缺点是需要 5 分钟才能触发。

Answer 2

有没有办法让 YARN 在之前启动所有必要的资源 开始我的工作？

我不知道如何做到这一点。但是，在我看来，这不值得这样做。 Spark 足够聪明，可以为我们做到这一点。

它知道当更多实例在集群中出现或消失时如何分配任务。为了实现这一点，您应该注意某种 spark 配置。

您应该将其设置为 true spark.dynamicAllocation.enabled。您可以更改或保留其他一些相关配置。

有关更多详细信息，请参阅此文档spark.dynamicAllocation.enabled

请根据您的 spark 版本查看文档。此链接适用于 spark 版本2.4.0

AWS 是否对启动时间收费，即使作业没有运行？

您使用实例的每一秒都会向您收费，最少为一分钟。您的作业是否正在运行并不重要。 即使它们在集群中闲置，您也必须为此付费。

更多详情请参考以下链接：

EMR FAQ

EMR PRICING

希望这能让您对 EMR 定价和与动态分配相关的某些 spark 配置有所了解。