按日期时间 Google BigQuery 分区

【问题标题】：Partition by datetime Google BigQuery按日期时间 Google BigQuery 分区
【发布时间】：2019-03-06 09:31:23
【问题描述】：

情况：我想在 Google BigQuery 表上加载 ~5B 记录。我有一个名为“date_time”的字段，它描述了记录日期时间（从 2012 年到今天）。我希望在此字段上对 BigQuery 表进行分区。

并发症：我正在将所有记录流式传输到 BigQuery 表，BigQuery 似乎只接受该分区的最近 12 个月记录。

问题：我已阅读说明 (https://cloud.google.com/bigquery/docs/partitioned-tables)，但我仍然不明白如何以允许对我的“日期时间”字段进行分区/索引的方式流式传输数据。

【问题讨论】：

【解决方案1】：

当前的流媒体限制在这个link中定义

您可以流式传输过去 1 年到未来 6 个月之间的数据。此范围之外的数据将被拒绝。数据流式传输时，将过去 7 天到未来 3 天之间的数据放入流式缓冲区，然后提取到相应的分区。此窗口之外的数据（但在 1 年 6 个月范围内）被放置在 UNPARTITIONED 分区中。当有足够的未分区数据时，将其加载到相应的分区中。

正如@Felipe 在answer 中所建议的，您应该将数据流式传输到非分区表并使用复制/加载操作将其移动到分区表

注意：您只需为流式插入付费，因此这种解决方法不涉及额外费用

【讨论】：