【问题标题】:How to check if tables refreshed in Bigquery or not?如何检查表是否在 Bigquery 中刷新?
【发布时间】:2021-04-12 16:36:43
【问题描述】:

目前我有大约 1000 个表,我需要在其中跟踪各种 bigquery 数据集中的大约 500 个表并生成报告或创建仪表板。以便我们可以监控并在表未刷新时及时采取行动。

有人可以告诉我如何在使用 Bigquery 插槽最少的情况下做到这一点。

【问题讨论】:

    标签: hive google-bigquery


    【解决方案1】:

    我想你应该可以查询到最后修改时间,如下所示:

    https://cloud.google.com/bigquery/docs/dataset-metadata

    然后,您可以添加一个表,该表具有更新表的最大允许时间间隔,并将该表包含在查询中以创建您自己的警报。

    drftr

    【讨论】:

      【解决方案2】:

      有一个预览功能INFORMATION_SCHEMA.PARTITIONS 为您提供数据集中每个表的LAST_MODIFIED_TIME

      select *
      from yourDataset.INFORMATION_SCHEMA.PARTITIONS; 
      

      【讨论】:

        猜你喜欢
        • 2017-08-09
        • 2020-03-08
        • 2015-04-28
        • 2013-06-17
        • 2022-11-25
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-06-27
        相关资源
        最近更新 更多