我们可以在通过 Google BigQuery 运行的查询上实现数据沿袭吗？

【问题标题】：Can we implement data lineage on queries run via Google BigQuery?我们可以在通过 Google BigQuery 运行的查询上实现数据沿袭吗？
【发布时间】：2018-10-15 07:46:27
【问题描述】：

谁能帮助我提供一些指导，说明我们如何在基于 Google BigQuery 构建的 DW 类型解决方案上实现数据沿袭，使用 Google Cloud 存储作为源，Google Cloud Composer 作为工作流管理器来实现一系列 SQL？

【问题讨论】：

标签： google-cloud-platform google-bigquery airflow google-cloud-composer

【解决方案1】：

如果您将数据存储在 Cloud Storage 中，您可能希望使用 GoogleCloudStorageToBigQueryOperator 之类的东西首先将数据加载到 Bigquery 中，然后使用 BigQueryOperator 运行查询。

然后您可以看到您的不同 DAG、任务等在 Airflow Web UI inside Composer. 中是如何运行的@

【讨论】：