Apache Spark Ui 中的自定义指标答案

【问题标题】：Custom metrics in Apache Spark UiApache Spark Ui 中的自定义指标
【发布时间】：2015-09-15 14:29:22
【问题描述】：

我正在使用 Apache Spark，指标 UI（在 4040 上找到）非常有用。

我想知道是否可以在此 UI 中添加自定义指标、自定义任务指标，但也可以添加自定义 RDD 指标。（就像 RDD 转换的执行时间）

将自定义指标按流批处理作业和任务分组可能会很好。

我见过TaskMetrics 对象，但它被标记为开发API，它看起来对输入或输出源很有用，不支持自定义值。

有火花方法吗？还是另一种选择？

【问题讨论】：

【解决方案1】：

您可以使用 Spark 中内置的共享变量支持 [1]。我经常用它们来实现类似的东西。

【讨论】：