Nagios 监控 hadoop 集群的脚本答案

【问题标题】：Scripts for Nagios to monitor a hadoop clusterNagios 监控 hadoop 集群的脚本
【发布时间】：2013-03-22 22:26:34
【问题描述】：

我正在尝试使用 Nagios 监控 Hadoop 集群。我的目标是监控所有 Hadoop 守护进程（如 DataNode、Jobtracker 和 Tasktracker 等）的状态和资源使用情况。我能想到的解决方案是监控这些守护进程正在使用的端口。但这似乎非常有限。例如，我看不到节点中有多少任务正在运行等。

那么，我的问题是：是否有使用 Nagios 进行 Hadoop 监控的系统解决方案？

谢谢，

舒敏

【问题讨论】：

标签： hadoop monitoring nagios

【解决方案1】：

我找到了this。这是一个用于监控 hdfs 的 nagios 插件。 Here都是nagios交易所的hadoop相关插件。

【讨论】：

【解决方案2】：

当然有很多方法可以使用 SNMP 监控 Hadoop 集群。您应该在 Linux 服务器上安装软件包 snmp。还必须在集群上启用 SNMP，我想有一个选项可以在某种基于 Web 的管理控制台中启用它。

启用此功能后，您应该能够 snmpwalk 集群：

snmpwalk -v 2c -c public <ip address cluster>

.. 你可以编写一个 perl 或 bash 脚本来检查你喜欢监视的某些 OID。您可以将此脚本放在您的“libexec”文件夹中，并在 commands.cfg 中为该脚本定义一个新命令，例如 check_cluster_snmp 或您喜欢的其他命令。

你也可以用 JMX 检查集群，但我对 JMX 还不是很了解。

【讨论】：

【解决方案3】：

您最好使用 JMX，因为它允许查看 Java 进程以检查正在发生的事情，并提供指标（如列入黑名单的节点、hdfs 空间状态等）。

您可以通过 URL http://node.domain:port/jmx?qry=*adoop 从每个节点拉取数据

Is there any JMX - REST bridge available?

【讨论】：