带有纱线调度程序的 aws emr答案

【问题标题】：aws emr with yarn scheduler带有纱线调度程序的 aws emr
【发布时间】：2020-02-14 01:59:21
【问题描述】：

我正在使用 cloudformation 模板创建 AWS EMR。我需要并行运行这些步骤。为此，我正在尝试将 YARN 调度程序从 FIFO 更改为公平/容量调度程序。

我已添加：

yarn.resourcemanager.scheduler.class : 'org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler'

我需要在 conf.empty 文件夹中添加FairScheduler.xml 文件吗？如果是这样，你能分享一下xml文件吗？如果我想通过cloudformation模板添加fairscheduler.xml，那么我需要使用引导程序吗？如果可以，请您提供引导文件。

【问题讨论】：

您如何将工作发送到 EMR？如果您使用 emr-steps，它们总是按顺序运行（而不是并行运行）。

标签： hadoop-yarn amazon-cloudformation amazon-emr

【解决方案1】：

看起来即使在更改调度程序后，EMR 也不允许同时运行作业。

【讨论】：

【解决方案2】：

您可以通过在云形成脚本中指定配置来配置您的集群。

这是一个配置示例

    - Classification: fair-scheduler
      ConfigurationProperties:
        <key1>: <value1>
        <key2>: <value2>
    - Classification: yarn-site
      ConfigurationProperties:
        yarn.acl.enable: true
        yarn.resourcemanager.scheduler.class: org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

请遵循这些 -

EMR 最近允许您并行运行多个步骤 -

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-emr-now-allows-you-to-run-multiple-steps-in-parallel-cancel-running-steps-and-integrate-with-aws-step-functions/

【讨论】：