使用 Google Cloud Composer 时监控 Airflow Web 服务器答案

【问题标题】：Monitoring the Airflow web server when using Google Cloud Composer使用 Google Cloud Composer 时监控 Airflow Web 服务器
【发布时间】：2018-08-28 12:02:10
【问题描述】：

使用 Google Cloud Composer 时如何监控 Airflow 网络服务器？如果网络服务器因错误而关闭或崩溃，我希望收到警报。

【问题讨论】：

Composer 的 Web 服务由 App Engine Flexible Environment 背后的相同技术支持。这意味着 web 进程应该是相当容错的，并且服务应该照顾 web 服务器进程。因此，虽然这对于非托管 Airflow 来说可能是一个常见问题，但对于 Cloud Composer，它应该不太关心。是否存在 Web 服务在 Composer 环境中失败的情况？
我没有这种情况，但我想确保我的服务运行良好。感谢您的反馈

标签： google-cloud-platform airflow google-cloud-composer

【解决方案1】：

您可以使用 Stackdriver Monitoring：https://cloud.google.com/composer/docs/how-to/managing/monitoring-environments。也可以在 Stackdriver 中设置提醒。

【讨论】：

【解决方案2】：

此时，Airflow 网络服务器的细粒度指标不会导出到 Stackdriver，因此无法像 Cloud Composer 环境中的其他资源（例如 GKE 集群、GCE 实例等）一样对其进行监控。这是因为 Web 服务器 runs in a tenant project 与您的大部分环境资源所在的主项目一起存在。

但是，截至 2019 年 3 月 11 日，Composer 中 Airflow 的 Web 服务器日志现在为 visible in Stackdriver。这意味着您暂时可以为 Web 服务器日志配置 logs-based metrics（匹配包含 @987654324 的行@等）。

【讨论】：