【发布时间】:2022-10-18 17:19:45
【问题描述】:
我正在为我们的 Spark 构建一个监控系统。我用 spark 的石墨接收器发送了指标。我希望能够动态停止所有指标。这意味着我需要用sc.set 设置它。
我怎样才能禁用火花配置中的所有指标?因为我找不到类似spark.metrics.enable 属性的东西。
【问题讨论】:
标签: apache-spark
我正在为我们的 Spark 构建一个监控系统。我用 spark 的石墨接收器发送了指标。我希望能够动态停止所有指标。这意味着我需要用sc.set 设置它。
我怎样才能禁用火花配置中的所有指标?因为我找不到类似spark.metrics.enable 属性的东西。
【问题讨论】:
标签: apache-spark
我找不到禁用它的方法。我所做的只是在我想监视(每个应用程序)时设置它。
sc.set("spark.metrics.conf.*.sink.graphite.class", "org.apache.spark.metrics.sink.GraphiteSink")
【讨论】: