【问题标题】:Get the Last Modified date for all BigQuery tables in a BigQuery Project获取 BigQuery 项目中所有 BigQuery 表的上次修改日期
【发布时间】:2017-11-01 11:08:59
【问题描述】:

我在 BigQuery 项目中有多个数据库,这些数据库由各种作业引擎和应用程序填充。我想为我们项目中的每个表维护一个包含所有上次修改日期的仪表板,以监控作业失败。

是否有任何命令行或 SQL 命令可以提供此上次修改日期列表?

【问题讨论】:

    标签: sql google-cloud-platform google-bigquery


    【解决方案1】:

    对于 SQL 命令,你可以试试这个:

    #standardSQL
    SELECT *, TIMESTAMP_MILLIS(last_modified_time)
    FROM `dataset.__TABLES__` where table_id = 'table_id'
    

    我建议您查看是否可以在应用程序级别记录这些错误。通过这样做,您还可以了解为什么某些事情没有按预期工作。

    如果您已经在使用 GCP,您可以使用 Stackdriver(它也适用于 AWS),我们开始在我们的项目中使用它,我建议尝试一下(不过我们测试了 python 应用程序,不确定该工具在其他客户端上的表现如何,但可能非常相似)。

    【讨论】:

    • 我们涵盖了日志级别的作业管理,但有数百个表正在更新,并且需要更简洁地查看在任何给定时间哪些作业已过期。
    • 嗨,有没有办法对所有数据集而不是单个数据集执行此操作?
    • 嗨 Andrewwowens,你能告诉我你是如何解决这个问题的吗,我们还有数百个我希望能看到的表。
    猜你喜欢
    • 2019-04-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-09-30
    • 2017-12-19
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多