Cloud Composer、Airflow - web_server_worker_timeout 环境变量答案

【问题标题】：Cloud Composer, Airflow - web_server_worker_timeout environmental variableCloud Composer、Airflow - web_server_worker_timeout 环境变量
【发布时间】：2019-06-28 16:18:34
【问题描述】：

我需要从一个可能会超过当前默认值 60 秒的 Web 服务获取帐户。

似乎我的工人经常进入超时，可以在webserver组中的web_server_worker_timeout环境变量下修改。但是这个变量在cloud composer下是不能修改的。

有什么办法可以解决这个问题？

【问题讨论】：

您能否启用异步 DAG 加载 (cloud.google.com/composer/docs/how-to/accessing/…) 看看是否有任何改进？这将通过不需要在每个请求上加载所有 dag 来加速网络服务器。
composer2 上不再提供此选项

标签： airflow google-cloud-composer

【解决方案1】：

没有办法自定义这个，但是在composer2中你可以为网络服务器选择kubernetes限制cpu。

在 ENVIRONMENT_SIZE_SMALL 上使用 0.5cpu，我的网络服务器通常会在 5 分钟内失败（2 个工作人员超时），然后才能达到稳定状态。

尝试为您的网络服务器设置超过 0.5cpu

【讨论】：