Composer “Dag Bag 大小”远大于 DAG 的数量

【问题标题】：Composer "Dag Bag size" much larger than number of DAGsComposer “Dag Bag 大小”远大于 DAG 的数量
【发布时间】：2021-09-30 19:51:46
【问题描述】：

我有一个 Cloud Composer 环境，版本为 composer-1.17.1-airflow-2.1.2。在这种环境下，我目前有 27 个 DAG。

但是，当我转到环境的监控页面并单击“显示 DAG 指标”时，“DAG 包大小”的图表显示大小为 137。

看到它不等于 DAG 的数量是否值得担心？它能否真正反映 DAG 运行的总数，或者可能是运营商的数量？是什么影响了这个指标的大小，我如何知道这个指标是否健康？

【问题讨论】：

【解决方案1】：

根据Cloud Composer metrics document，它显示了在给定时间部署在存储桶中并由 Airflow 处理的 DAG 数量。

DAG 包大小

图表显示了在给定时间部署到 Cloud Storage 存储分区并由 Airflow 处理的 DAG 数量。这在分析性能瓶颈时会很有帮助。例如，DAG 部署数量的增加可能会因负载过大而降低性能。

所以在您的情况下应该是 27，并且其他 Composer 实例不可能共享一个存储桶。因此，数量的增加应该是由于在给定时间处理/运行的 DAG。

【讨论】：