使用 Spark Structured Streaming 检索图形信息答案

【问题标题】：Retrieve graphical information using Spark Structured Streaming使用 Spark Structured Streaming 检索图形信息
【发布时间】：2021-01-17 01:36:10
【问题描述】：

Spark Streaming 在已部署的 Web UI 中为每个执行的应用程序提供了一个“流媒体”选项卡（http://localhost:4040 用于正在运行的应用程序或http://localhost:18080 用于已完成的应用程序，默认情况下），其中可以获得代表应用程序性能的图表，使用 Spark Structured Streaming 不再可用。就我而言，我正在开发一个使用 Spark Structured Streaming 的流应用程序，该应用程序从 Kafka 代理读取，我想获得每秒处理的记录图，例如使用 Spark Streaming 而不是 Spark Structured Streaming 时可以获得的记录图，以及其他图形信息。

实现这一目标的最佳选择是什么？我正在使用 Spark 3.0.1（通过 pyspark 库），并将我的应用程序部署在 YARN 集群上。

我查过Monitoring Structured Streaming Applications Using Web UI Jacek Laskowski，但是还不是很清楚如何以图形的方式获取这类信息。

提前谢谢你！

【问题讨论】：

标签： apache-spark pyspark spark-structured-streaming

【解决方案1】：

我设法得到了我想要的。出于某种原因，我仍然不知道，已完成应用程序的 Spark History Server UI（默认在 http://localhost:18080 上）没有显示可用于执行的 Spark 结构化流应用程序的新选项卡（“结构化流”选项卡）在 Spark 3.0.1 上。但是，我设法通过 URL http://localhost:4040 访问的 Web UI 确实显示了我想要检索的信息。您只需单击要从中获取统计信息的流式查询的“runId”链接。

如果你看不到这个标签，根据我的个人经验，我建议如下：

升级到 Spark 最新版本（当前为 3.0.1）
在应用程序运行时查看部署在端口 4040 的 UI 上的此信息，而不是在应用程序完成时使用端口 18080。

我发现最新 Apache Spark 中的 Web UI official documentation 对实现这一目标非常有用。

【讨论】：

【解决方案2】：

您在 spark UI 中看到的大多数指标信息都是由 spark 导出的。

如果 spark UI 不符合您的要求，您可以检索这些指标并进行处理。

您可以使用接收器来导出数据，例如导出到 csv、prometheus 等...或通过 REST API。

你应该看看 spark 监控：https://spark.apache.org/docs/latest/monitoring.html

【讨论】：