Cloud Composer 可以在同一个 Composer 环境中使用不同的 Service Account 运行 Dags 吗？答案

【问题标题】：Can Cloud Composer run Dags with different Service Accounts in the same Composer environment?Cloud Composer 可以在同一个 Composer 环境中使用不同的 Service Account 运行 Dags 吗？
【发布时间】：2022-01-11 19:33:00
【问题描述】：

我有几个 Dags 设置来在 Cloud Composer / Airflow 中运行 KubernetesPodOperator，它们在 Composer 环境服务帐户下运行，我想知道是否可以使用与作曲环境？

我看过文档，但看不到如何做到这一点

创建环境时，您需要指定一个服务帐户。您的环境的集群使用此服务帐户来运行 pod 不同的环境组件，例如 Airflow 工作人员和调度程序。 https://cloud.google.com/composer/docs/how-to/access-control

https://cloud.google.com/composer/docs/composer-2/authentication

我认为您可以使用模拟服务帐户执行此操作，但没有示例说明如何执行此操作https://github.com/apache/airflow/issues/12061

【问题讨论】：

您可以使用 KubernetesPodOperator 在 Dags 的开头定义 secret env 和 secret volume。我没试过，但应该可以。

标签： google-cloud-platform airflow google-cloud-composer k8s-serviceaccount

【解决方案1】：

如果您使用 GCP 运营商与 Google 服务交互，则可以通过不同的连接来实现。

您可以定义任意数量的连接，这些连接应该是“GCP”连接，并在您的 DAGS/任务中使用这些连接。这样，您甚至可以为同一个 DAG 中的不同任务使用不同的服务帐户。

见https://airflow.apache.org/docs/apache-airflow-providers-google/stable/connections/gcp.html

【讨论】：