如何在 Google Composer 中重新启动自我管理的 Airflow Web 服务器

Question

我正在使用 Google Composer，但是由于我正在尝试创建动态创建的 DAG，我无法使用托管 Web 服务器 [1]。所以最后我需要添加一个插件，因为我需要使用 REST API 访问 Airflow Webserver，所以我安装了以下插件，因为实验性 REST API 不足以满足我的情况 [2]：

• https://github.com/teamclairvoyant/airflow-rest-api-plugin

当我更新插件时，我的托管 Airflow 网络服务器能够获取更改。然而，我自己管理的 Airflow Webserver 无法获取更改。

我知道我需要重新启动我的 Airflow 网络服务器，但是在我执行此命令后，我的 pod 似乎没有重新启动：

kubectl get deploy airflow-webserver -o yaml | kubectl replace --force -f -

如果您正在执行 [3] 中提到的步骤，可以看到我的 deployment.yaml 供您参考。

对某些未使用的环境变量使用 kubectl 补丁重新启动 pod 似乎也不起作用。

[1]Dynamically Creating DAG based on Row available on DB Connection

[2]https://github.com/apache/airflow/blob/master/docs/api.rst

[3]https://cloud.google.com/composer/docs/how-to/managing/deploy-webserver

Answer 1

这个问题已经通过创建一个新环境，然后使用[1]将所有数据迁移到新环境来解决，当前版本是1.4.1（我使用的以前的版本是1.3.0）。有关发布的信息可以在 [2] 中找到。可以通过使用 gcsfuse 或使用 Web 控制台将插件目录复制到插件目录来安装插件。

如果您为网络服务器使用插件，则意味着您的端点也受 IAP 保护。要以编程方式访问它，您可以使用服务帐户 [3]。

[1]https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/composer/tools/copy_environment.py

请注意，当您使用测试版时。使用以下命令创建的那个：

gcloud beta composer environments create <env> --location=<location> --airflow-version <version> --node-count <node-count>

您应该首先创建环境，然后运行我提供的脚本，因为这个 beta 版本在 v1beta1 上可用。同时该脚本仅支持 v1 API。

还请注意，如果您在旧环境中自己使用其他 k8s 资源，我提到的脚本不会对此进行备份。该脚本仅将所有配置备份到您的气流，即：数据库、DAG 和日志。因此，如果您使用的是自我管理的网络服务器，您应该为此网络服务器重新创建部署。

[2]https://cloud.google.com/composer/docs/release-notes

[3]https://cloud.google.com/iap/docs/authentication-howto