在没有 spark UI 的情况下在 AWS EMR 中监控 spark 集群

【问题标题】：monitoring spark cluster in AWS EMR without spark UI在没有 spark UI 的情况下在 AWS EMR 中监控 spark 集群
【发布时间】：2016-12-08 07:32:58
【问题描述】：

我正在 AWS EMR 上运行 Spark 集群。如何在不使用 spark UI 的情况下获取在 AWS EMR 上运行的作业和执行程序的所有详细信息。我打算用它来监控和优化。

【问题讨论】：

【解决方案1】：

您可以检查 nagios 或 ganglia 的集群运行状况，但您无法使用这些工具查看在 spark 上运行的作业。

【讨论】：

【解决方案2】：

如果您使用的是 AWS EMR，则可以使用 lynx 服务器来实现。如下所示。

注意：在键入命令之前，请确保您正在运行作业

【讨论】：