Spark 程序来监控执行器的性能答案

【问题标题】：Spark program to monitor the executors performanceSpark 程序来监控执行器的性能
【发布时间】：2017-09-19 18:09:37
【问题描述】：

我正在开发一个 spark 程序来监控每个执行器的性能，例如当一个执行器开始工作和完成工作时标记下来。我正在考虑两种方法：

首先，开发程序，当执行器开始工作时，它将当前时间标记到一个文件中，当它完成时，将该时间标记到同一个文件中。最后，除了驱动机器之外，所有的“日志”文件都会传播到整个集群网络。

其次，由于executors会定期向driver报告，每次driver收到executors的消息，如果消息中包含“start”和“finish”信息，让driver记录一切。

这可能吗？

【问题讨论】：

【解决方案1】：

有很多方法可以监控执行器性能以及应用程序性能

最好的方法是借助 Spark Web UI 和其他可用的开源 (Ganglia) 监控工具进行监控

您需要监控您的应用程序，无论您的集群是否未得到充分利用，或者您创建的应用程序使用了多少资源。

可以使用各种工具进行监控，例如。 Ganglia 您可以从 Ganglia 中找到 CPU、内存和网络使用情况。根据对 CPU 和内存使用情况的观察，您可以更好地了解您的应用程序需要什么样的调整

希望这有帮助！！！....

【讨论】：