【问题标题】:Partition expiry countdown for date/time field based partition基于日期/时间字段的分区的分区到期倒计时
【发布时间】:2021-05-06 13:11:20
【问题描述】:

截至 2021 年 5 月,Google Big Query 文档没有明确提及时间/日期字段分区表的分区到期倒计时何时开始? 分区本身的日期/时间是分区到期倒计时的开始,还是在分区创建时开始到期倒计时?

例如,如果创建如下表

CREATE TABLE IF NOT EXISTS `project_id.dataset_name.table_name`
(
    dateTime    TIMESTAMP NOT NULL
    , trainName STRING
    , fleet     STRING
    , customer  STRING
)
PARTITION BY DATE(dateTime)
OPTIONS (
    partition_expiration_days = 3
)

因此,如果表是在每月 5 日创建的,但在插入数据时,如果插入了该月 1 日的数据(对于字段 dateTime),那么该数据是否已经过期插入?还是会在同月 9 日到期?

对于基于摄取的分区,不会出现这种混淆,因为摄取时间戳本身就是一个分区时间戳。

参考资料:

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    该数据将在插入时过期。分区本身的日期/时间是分区到期倒计时的开始。因此,当月 1 日的数据不会出现在表格中。

    【讨论】:

      猜你喜欢
      • 2012-11-07
      • 2015-10-07
      • 1970-01-01
      • 2017-02-22
      • 1970-01-01
      • 2019-03-09
      • 1970-01-01
      • 2021-12-01
      • 1970-01-01
      相关资源
      最近更新 更多