来自namenode的Hadoop资源管理器IP地址

Question

我正在尝试使用 http://hadoop-namenode-address:50070/jmx 查找用于 hadoop 管理的集群信息。我设法获取了集群中的数据节点列表，但无法获取有关辅助名称节点、资源管理器和节点管理器 IP 地址的信息。

有什么方法可以使用 REST API 从 namenode 中找到它？

Answer 1

您无法从 namenode 获取有关辅助 namenode、资源管理器和节点管理器的信息。 namenode 只知道数据节点。虽然所有这些服务器都是 Hadoop 的一部分，但资源管理器和节点管理器是计算部分，而 namenode、辅助 namenode 和 datanodes 是数据部分，它们可以相互独立运行。

如果您使用 Cloudera Manager 或 Ambari，您可以使用它们各自的 API 来识别您需要的服务，或者（如 @philantrovert 建议的那样） 从 Hadoop xmls（hdfs-site.xml 和 yarn-site.xml）中抓取配置。