列出 HADOOP 2.x 中映射器和缩减器数量的命令

【问题标题】：Command to list the number of mappers and reducers in HADOOP 2.x列出 HADOOP 2.x 中映射器和缩减器数量的命令
【发布时间】：2019-07-13 00:47:57
【问题描述】：

是否有任何 hadoop/yarn 命令可以动态列出作业使用的 mapper/reducers/slots 的数量

【问题讨论】：

如果有，这些都记录在案。你做过研究吗？
在文档中做了很多尝试。我可以找到一些配置文件，这些文件在 hadoop 1 中具有带有内存信息的映射器/减速器的数量。但在 hadoop-2 中没有。 Yarn 配置只列出了 mapper/reducers 的内存信息。

【解决方案1】：

YARN 处理容器和内存，而不是 Mappers 和 Reducers。

为了获取您的信息，您可能需要两步法。运行 YARN Resource Manager Cluster Application API 以获取 Application Master URL。

然后针对 AM URL 运行 Mapreduce Application Master Info API 以获取正在运行的映射器和缩减器的数量。

【讨论】：