纱线公平调度程序没有均匀分配资源

Question

我有一个带有 Yarn Fair 调度程序的 AWS EMR 集群设置。目前，如果我启动一个大型作业（作业 A），它会启动并占用集群的所有 CPU 和内存。如果我在集群从作业 A 最大化时开始第二个作业（作业 B），它将进入接受状态，但不运行。即使启用了自动缩放并将新节点添加到集群中，新资源也被分配给作业 A 而不是作业 B。与此同时，作业 B 继续等待，直到作业 A 完成或被终止。我没有启用抢占，因为我不想杀死作业 A 中的任务。

有没有办法让 Job A 释放资源并交给 Job B？

我可以设置一个作业可以在集群上占用的百分比限制，以便为其他作业留出空间吗？

Answer 1

如果不启用抢占，则无法释放资源。您可以设置 2 个队列并在该队列作业 A 运行中启用 maxResources，因此它不能占用所有资源。

请参阅 Ray Chiang 和 Dennis Dawson 的文章 Untangling Apache Hadoop YARN, Part 5: Using FairScheduler queue properties，了解有关如何执行此操作的详细信息。