YARN + 如何从 cli Capacity Scheduler 或 Fair Scheduler 识别正在使用的 YARN 模式答案

【问题标题】：YARN + how to identify what YARN mode is using from cli Capacity Scheduler or Fair SchedulerYARN + 如何从 cli Capacity Scheduler 或 Fair Scheduler 识别正在使用的 YARN 模式
【发布时间】：2021-09-13 08:25:15
【问题描述】：

在问我的问题之前，我只想给出使用 Fair Scheduler 或 Capacity Scheduler 的 YARN 之间的差异

公平调度程序公平调度是一种将资源分配给作业的方法，以便所有作业平均随着时间的推移获得同等份额的资源。当有一个作业在运行时，该作业会使用整个集群。当提交其他作业时，将释放的任务槽分配给新作业，以便每个作业获得大致相同的 CPU 时间。

容量调度程序容量调度程序旨在允许共享大型集群，同时为每个组织提供最低容量保证。中心思想是 Hadoop 集群中的可用资源在多个组织之间进行分区，这些组织根据计算需求共同为集群提供资金。还有一个额外的好处是组织可以访问任何多余的容量不被他人使用。这以具有成本效益的方式为组织提供了弹性。

除了上述之外，我们还有带有 YARN 资源管理器服务和 34 个节点管理器的 HDP 集群所有服务都可以从 Ambari 仪表板查看

所有机器都安装在 Linux 7.2 上

是否可以从 yarn cli 或其他 Hadoop 方法验证 YARN 选择了什么？ 公平调度器或容量调度器

【问题讨论】：

标签： hadoop hadoop-yarn ambari hdp

【解决方案1】：

在 shell 中使用以下命令：

./path-to-your-hadoop/bin/hdfs getconf -confKey yarn.resourcemanager.scheduler.class

公平调度器的结果

org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

容量调度程序的结果

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

【讨论】：