【发布时间】:2021-04-12 16:36:43
【问题描述】:
目前我有大约 1000 个表,我需要在其中跟踪各种 bigquery 数据集中的大约 500 个表并生成报告或创建仪表板。以便我们可以监控并在表未刷新时及时采取行动。
有人可以告诉我如何在使用 Bigquery 插槽最少的情况下做到这一点。
【问题讨论】:
标签: hive google-bigquery
目前我有大约 1000 个表,我需要在其中跟踪各种 bigquery 数据集中的大约 500 个表并生成报告或创建仪表板。以便我们可以监控并在表未刷新时及时采取行动。
有人可以告诉我如何在使用 Bigquery 插槽最少的情况下做到这一点。
【问题讨论】:
标签: hive google-bigquery
我想你应该可以查询到最后修改时间,如下所示:
https://cloud.google.com/bigquery/docs/dataset-metadata
然后,您可以添加一个表,该表具有更新表的最大允许时间间隔,并将该表包含在查询中以创建您自己的警报。
drftr
【讨论】:
有一个预览功能INFORMATION_SCHEMA.PARTITIONS 为您提供数据集中每个表的LAST_MODIFIED_TIME
select *
from yourDataset.INFORMATION_SCHEMA.PARTITIONS;
【讨论】: