使用 Azure DevOps 为 GCP BigQuery 创建 CI/CD 管道的最佳方法

【问题标题】：Best way to create CI/CD pipeline for GCP BigQuery using Azure DevOps使用 Azure DevOps 为 GCP BigQuery 创建 CI/CD 管道的最佳方法
【发布时间】：2021-09-06 09:13:03
【问题描述】：

我正在寻找使用 Azure DevOps 为 GCP BigQuery 创建 CI/CD 管道的最佳方法。我需要 Azure Devops 中的存储库，并自动将 CI 和 CD 用于 GCP 中的 Dev/QA 和 PROD 环境。此外，如何在 Azure DevOps 中为 GCP 主分支代码设置自动构建？有没有办法集成 BigQuery 和 Azure Devops 存储库？我们必须使用 Azure DevOps 进行项目、存储库和管道管理。所以尝试从 Azure Devops 构建和部署到 GCP Bigquery 的方法。任何见解都会有所帮助。

【问题讨论】：

标签： azure-devops google-bigquery continuous-integration

【解决方案1】：

首先祝贺你的第一篇文章。

是的，您绝对可以将 Azure Devops 与 BigQuery 集成。不错的阅读here。

但是根据您的问题，我无法理解您要部署的内容。是一些客户端代码将连接到 BQ 以运行查询和获取数据，还是从摄取数据开始的 Dataflow 作业？

每种方法都有不同的方法。

【讨论】：

谢谢。我正在尝试仅部署 Bigquery 组件，例如表。视图等等看起来我可以使用 gcloud 脚本将代码部署到 bigquery，我唯一想弄清楚的是如何将代码合并到 Azure Devops 存储库以自动触发构建。
是的，您确实可以使用 gcloud bq 脚本或 yaml 文件来部署视图、表格。您必须在存储库中维护这些脚本/yaml 的版本。