Spark：配置文件“metrics.properties”

Question

Spark 的配置文件（用于检索指标），即/conf/metrics.properties，声明如下：

在一个实例中，“来源”指定一组特定的分组指标。 有两种来源：

1. Spark 内部源，如 MasterSource、WorkerSource 等，它们将收集 Spark 组件的内部状态。每个实例都与自动添加的 Spark 源配对。

2. 通用源，如 JvmSource，将收集低级状态。这些可以通过配置选项添加，然后使用反射加载。

下面是一些例子，如

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

然而，没有示例说明如何从其他来源获取指标，如 MasterSource 或 WorkerSource，并且仅替换 JvmSource 并不能解决问题。

建议？

Answer 1

MasterSource 或 WorkerSource——它们都是内部来源——由指标自动跟踪，因此无需明确指定。

例如，

master.sink.cvs.class=org.apache.spark.metrics.sink.CsvSink

每 10 秒将主实例指标输出到/tmp 目录。