气流 504 网关超时

Question

当我尝试在 UI 中打开某些 DAG 的树视图或任务持续时间页面时，我多次收到错误消息：504 网关超时。 有时在那之后我什至无法打开包含 DAG 列表的页面。 你知道这个问题可能来自哪里吗？

运行 Airflow 的机器的 CPU 和内存似乎没问题，我使用 RDS 作为元数据。

谢谢！

Answer 1

我以前也经历过。我相信它是由一个 HTTP 请求引起的，该请求比网络服务器的 gunicorn worker 需要更长的时间来完成。例如，如果您将 DAG 树视图设置为较高的设置，例如针对具有大量任务的 DAG 运行 365 DAG，您可能能够一致地重现这一点。

您能否尝试提高网络服务器上的超时设置，看看是否有影响？

• 首先，尝试增加[webserver] 组下的web_server_worker_timeout（默认值 = 120 秒）。
• 如果这不能解决问题，您也可以尝试在同一组下增加web_server_master_timeout。
• 另一种尝试的技术是将网络服务器 worker_class（默认 = sync）切换到 eventlet 或 gevent。

参考：https://github.com/apache/incubator-airflow/blob/c27098b8d31fee7177f37108a6c2fb7c7ad37170/airflow/config_templates/default_airflow.cfg#L225-L229

请注意，替代工作人员类需要安装带有 async 附加功能的 Airflow，例如：

pip install apache-airflow[async]

您可以在此问题中找到有关 gunicorn worker 超时的更多信息：How to resolve the gunicorn critical worker timeout error?。