有没有办法监控 BigQuery (GCP) 中数据集下的所有表/视图更新？答案

【问题标题】：Is there a way to monitor all table/view updates under a dataset in BigQuery (GCP)?有没有办法监控 BigQuery (GCP) 中数据集下的所有表/视图更新？
【发布时间】：2021-05-15 20:49:43
【问题描述】：

我想使用存储过程或云函数或 Python 在单独的跟踪表中跟踪所有表/视图更新，即表创建时间戳、表修改时间戳等？我不想使用 Dataflow 或 Pub/Sub。有什么指点吗？

数据集 1：

    |CREATED| MODIFIED |ROWS ADDED |ROWS DELETED|

【问题讨论】：

托管您的数据集的特定 GCP 产品是什么？大查询？还请包括您迄今为止尝试过的代码或内容。
大多数时候，当您希望进行跟踪更改时，您希望跟踪执行此更改的事件（或作为事件接收此更改的结果）。在这两种情况下，Google Cloud 上的事件中间件都是 PubSub。如果你不想用，我没办法！！为什么你不想要它？
@ Daniel Ocando - 是的，它的 BigQuery。不知道从哪里开始

标签： python stored-procedures google-cloud-platform google-bigquery google-cloud-functions

【解决方案1】：

听起来您正在尝试创建一个用于记录的表。您可以通过audit logs 进行此操作。

审核日志记录以下内容：

管理活动，例如创建或修改资源。

数据访问，例如从资源中读取用户提供的数据。

由 Google 系统而非用户操作生成的系统事件。

获得日志后，您可以export them to BigQuery。

【讨论】：