有没有办法监控 Apache Spark 应用程序的 RAM 和 CPU 使用情况？答案

【问题标题】：Is there a way to monitor RAM and CPU usage of Apache Spark applications?有没有办法监控 Apache Spark 应用程序的 RAM 和 CPU 使用情况？
【发布时间】：2015-11-04 18:03:38
【问题描述】：

我需要监控在独立 Spark 集群上运行的 Spark 应用程序的 RAM 和 CPU。

我尝试使用 java 控制台，它工作得很好，但我需要监控各种应用程序，我需要为每个应用程序设置一个不同的 java 控制台端口。

在防火墙之后，它变成了一项非常漫长而乏味的工作。

有没有办法通过 Spark UI 或其他方式监控应用程序？

【问题讨论】：

你试过 Ganglia 吗？

标签： apache-spark monitor

【解决方案1】：

如果你使用 Ubuntu，你可以使用htop。要安装，请执行

sudo apt-get install htop

【讨论】：