如何在 Hadoop 集群中检索 YARN 可用的最大容器？答案

【问题标题】：How to retrieve max containers available from YARN in Hadoop Cluster?如何在 Hadoop 集群中检索 YARN 可用的最大容器？
【发布时间】：2015-10-17 17:37:19
【问题描述】：

如何从 Hadoop 集群中 YARN 的资源管理器中获取容器的总数，即最大容量。我确实尝试过 REST Api 和 JMX 指标，但只得到了分配的容器总数和待处理的容器。那么有什么方法可以检索可以创建的最大容器数吗？

【问题讨论】：

标签： hadoop hadoop-yarn hadoop2 resourcemanager

【解决方案1】：

在 YARN 中，我们有最小分配属性，因此所有容器都具有该值的最小值。因此，基于此，您可以计算可以启动的最大容器数（除以纱线可用的总内存）。我认为这是获得最多可启动容器的唯一方法。

因此，在您的程序中，获取这两个属性并进行一些数学运算将得到您需要的结果。

要查找的属性是：

    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>8192</value>

【讨论】：

当然，谢谢...我尝试为集群 JMX 指标调用 YARN RM REST API。

【解决方案2】：

RM API 集群指标显示总 vcore 和总内存。

https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Metrics_API

因此，如果您对 RM-URL/ws/v1/cluster/metrics 执行 GET，您会看到“totalMB”和“totalVirtualCores”的值。

【讨论】：