Airflow 通过 statsd 发送指标，但不是全部答案

【问题标题】：Airflow sends metrics by statsd but not all of themAirflow 通过 statsd 发送指标，但不是全部
【发布时间】：2019-11-14 02:41:16
【问题描述】：

最近我更新了我的气流.cfg 以启用 Statsd 的指标。

我已将此设置注入airflow.cfg：

我正在注入此配置：

AIRFLOW__SCHEDULER__STATSD_ON=True
AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME
AIRFLOW__SCHEDULER__STATSD_PORT=9125
AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow

我没有使用标准的 Statsd 服务，而是使用 Statsd 协议的Statsd-exporter，所以据我所知，我可以直接指向 Airflow 以将指标发送到 Stats-exporter。默认情况下，它适用于 9125 端口。

Statsd-exporter 收到指标后，Prometheus 能够定期抓取它们。

一切都好，一切都好。此外，我将映射文件制作到了 Statsd-exporter，在其中使用了一些正则表达式，但是....我的问题是，当我打开 Statsd-exported（9102 端口）的 WEB UI 时，我看到了部分 Airflow 指标，但不是全部!.

文档说明了指标列表here

例如，我看到 Airflow 发送：ti_failures、ti_successes、dagbag_size 等。但完全没有指标，例如：dag...duration 或 executor.open_slots 等。

非常感谢任何曾经使用过 Statsd 和 Airflow 的人，因为我不知道：(

【问题讨论】：

标签： airflow statsd

【解决方案1】：

我最近检测了要从 statsd 导出到 prometheus 的气流及其指标。在我的架构中，气流在 Kubernetes pod 中运行，具体如下：

调度器
工人
花
网络

只有 scheduler、worker 和 web 有一个边车容器来导出 statsd 指标（我们称之为 metrics pods）。

您在官方文档 (https://airflow.apache.org/metrics.html) 中看到的指标列表不适用于所有指标 pod。

为了解决您的具体问题，dag...duration 由工作节点导出。

【讨论】：