【发布时间】：2021-10-04 16:34:19
【问题描述】：
我正在管理一个为数据工程团队运行 Airflow 的 Google Cloud Composer 环境。我最近被要求对他们运行的其中一个因此错误而失败的 dags 进行故障排除：[12:41:18,119] {credentials_utils.py:23} WARNING - [redacted-name] connection ID not available, falling back to Google default credentials
该作业基本上是一个数据管道，它从各种来源读取数据并将数据存储到 GBQ。奇怪的是，他们为不同的项目运行了一个非常相似的 Dag，并且运行良好。
我已经为连接背后的服务帐户以及 Airflow 中的连接本身重新创建了 .json 凭据。我已经清理了代码，看看是否有任何隐藏的空格。
我对 Airflow 的了解有限，在我的研究中没有发现任何类似的问题，有没有人遇到过这种情况？
【问题讨论】：
-
我认为我们可能不得不看到这个谜题的更多背景。例如，DAG 中任务步骤的详细信息是什么样的？其余相关消息是什么样的？在您的帖子中，您编辑了一些文本（好主意）......但是该文本/值与其他组件有何关系......它是在 DAG 的代码中命名还是作为环境变量或其他东西命名。
-
两个项目的服务账号是一样的还是不同的？
标签： airflow google-cloud-composer airflow-connections