使用 Prometheus 监控 Spark 3 应用程序答案

【问题标题】：Monitoring Spark 3 applications with Prometheus使用 Prometheus 监控 Spark 3 应用程序
【发布时间】：2020-08-26 04:58:44
【问题描述】：

关于使用指标的拉取机制以及如何使用 Prometheus 监控 Spark 3 应用程序有一些非常基本的问题：

Spark-3 支持的 PrometheusServlet 接收器是否包含自应用程序启动以来的所有指标？这些指标是否未汇总？
接收器中的度量信息存储在哪里/如何存储以及当 Prometheus 抓取端点时真正发生了什么？如果端点显示自应用程序启动时间以来的所有指标信息，那么存储这些指标所花费的内存不会成为长时间运行的 Spark 应用程序的问题吗？
Prometheus 是否会在每次重新抓取时获取所有指标（从应用程序启动时间开始）？如果不是，它如何知道上次抓取的指标？

谢谢。

【问题讨论】：

【解决方案1】：

您可以自行设置并查看.. :)

无论如何，每个指标的行为方式取决于指标（无论是累积指标还是https://spark.apache.org/docs/latest/monitoring.html 中所述的快照（每个指标都有一个说明其类型的标签）

不存储指标的过去值，由 Prometheus 定期获取它（无论如何它都是基于拉取的）。 servlet 只是以兼容 prometheus 的方式格式化指标

【讨论】：