如何在 Apache Spark 中启用 ExecutorAllocationManagerSource 指标？答案

【问题标题】：How to enable ExecutorAllocationManagerSource metrics in Apache Spark?如何在 Apache Spark 中启用 ExecutorAllocationManagerSource 指标？
【发布时间】：2016-08-25 18:37:46
【问题描述】：

关于在 Apache Spark 中启用通用指标的文档有点薄：

在一个实例中，“来源”指定一组特定的分组指标。有两种来源：

Spark 内部资源，如 MasterSource、WorkerSource 等，它们将收集 Spark 组件的内部状态。每个实例都与自动添加的 Spark 源配对。

常见的来源，如 JvmSource，将收集低级状态。这些可以通过配置选项添加，然后使用反射加载。

所有的例子都是这样的：

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

但是，没有任何看似合理的变化允许我发布在 ExecutorAllocationManagerSource 中生成的指标

该类没有经过单元测试，我找不到任何其他文档或示例。

【问题讨论】：

标签： apache-spark metrics executors codahale-metrics

【解决方案1】：

事实上，这些指标的发布并未针对ExecutorAllocationManagerSource 进行任何特殊配置。但是，它们仅在相关代码路径处于活动状态时才会显现。在这种情况下，这意味着启用动态执行器分配。

我的集群被错误地配置为没有动态执行程序分配。启用后，这些指标会在驱动程序指标下发布，无需任何特殊配置。

【讨论】：