如何在 Cloud Composer 中重新启动 Web 服务器答案

【问题标题】：How to restart webserver in Cloud Composer如何在 Cloud Composer 中重新启动 Web 服务器
【发布时间】：2018-11-12 04:56:56
【问题描述】：

我们最近遇到了一个关于气流的已知问题：

Airflow "This DAG isnt available in the webserver DagBag object "

现在我们使用临时解决方案通过更改配置重新启动整个环境，但这不是一种有效的方法。现在我们认为最好的解决方法是在 Cloud Composer 上重启网络服务器，但我们没有找到任何重启网络服务器的命令。有可能采取行动吗？

谢谢！

【问题讨论】：

我们遇到了同样的问题，很烦人
不是故意复活一个旧线程，但我遇到了类似的问题，似乎网络服务器和调度程序的文件不同步；如果您正在进行一些动态逻辑，这会破坏您的 DAG。（可能类似于mail-archives.apache.org/mod_mbox/airflow-dev/201805.mbox/…）在作曲家上更新配置是否也会重新启动所有调度程序/工作程序映像？（有什么办法可以告诉我吗？）人们经常说，如果你不时重启调度程序，它会提高气流性能，如果还有 t

标签： google-cloud-platform airflow google-cloud-composer

【解决方案1】：

对于那些徘徊并找到此线程的人：当前 for 版本 >= 1.13.1 Composer 有一个preview for a web server restart

【讨论】：

【解决方案2】：

只有特定类型的更新会导致网络服务器容器重新启动，例如添加、删除或升级其中一个 PyPI 包或更改 Airflow 设置。

你可以这样做：

# Set some arbitrary Airflow config value to force a webserver rebuild. 
gcloud composer environments update ${ENVIRONMENT_NAME} \
  --location=${ENV_LOCATION} \
  --update-airflow-configs=dummy=true

# Remove the previously set config value. 
gcloud composer environments update ${ENVIRONMENT_NAME} \ 
  --location=${ENV_LOCATION} \
  --remove-airflow-configs=dummy

【讨论】：

是的，我通过这个 hack 重新启动了我的云作曲家，但我不认为这是最好的方法或经验，因为这个命令会强制云作曲家重建映像并部署到每个节点。在我的脑海里太沉重了。
是的，但是要重新启动 Cloud Composer，您需要重新构建和重新部署，也许并不总是必要的，但是……以防万一。
需要将命令更改为gcloud composer environments update ${ENVIRONMENT_NAME} --location=${ENV_LOCATION} --update-airflow-configs=webserver-dummy=true，因为 Composer 现在有不同配置的“部分”。

【解决方案3】：

来自 Google Cloud 文档：

gcloud beta composer environments restart-web-server ENVIRONMENT_NAME --location=LOCATION

【讨论】：

【解决方案4】：

我终于找到了替代解决方案！

根据本文档： https://cloud.google.com/composer/docs/how-to/managing/deploy-webserver

我们可以在 kubernetes 上构建气流网络服务器（是的，请扔掉内置的网络服务器）。所以我们可以杀死 webserver pod 来强制重启 =)

【讨论】：

【解决方案5】：

可以从控制台检索 dag，我们可以列出所有存在的 dag。还有其他命令。

【讨论】：

你能解释一下你在这里想说什么吗？我没有得到这个答案。