BigQuery 表中可以有每小时分区吗？

Question

谷歌文档只讨论每日分区。但是模型中是否有任何东西阻碍了将分区填充到具有其他时间段（例如，小时或周）的表中？

在“小”表中使用分区是否有任何限制或缺点？

Answer 1

是的。
Big Query 现在通过使用 TIMESTAMP_TRUNC 支持基于任何 TIMESTAMP 字段（而不仅仅是摄取时间）的每小时分区：

 CREATE TABLE
   mydataset.newtable (transaction_id INT64,
     transaction_ts TIMESTAMP)
 PARTITION BY
   TIMESTAMP_TRUNC(transaction_ts, HOUR)
 OPTIONS
   ( partition_expiration_days=3,
     description="a table partitioned by transaction_ts" )

Answer 2

是的，现在 Big Query 支持按摄取时间进行每小时分区。

这里是documentation

Answer 3

目前仅支持 DAY 分区表。不支持每小时或每月。有几个新功能的功能请求，但没有实施时间表。您也可以在票证上发表评论并添加您的用例以进行宣传。

https://cloud.google.com/bigquery/docs/partitioned-tables

相关功能请求：

• https://code.google.com/p/google-bigquery/issues/detail?id=725
• https://code.google.com/p/google-bigquery/issues/detail?id=712
• https://code.google.com/p/google-bigquery/issues/detail?id=611
• https://code.google.com/p/google-bigquery/issues/detail?id=751

更新 * 2018 年 8 月

Introduction to Clustered Tables - 您现在可以按天进行分区，然后按任何其他列（例如小时/分钟）进一步对表进行聚类。

聚类可以提高某些类型查询的性能 例如使用过滤子句的查询和聚合的查询 数据。当数据通过查询作业或 加载作业，BigQuery 使用集群中的值对数据进行排序 列。这些值用于将数据组织成多个 BigQuery 存储中的块。当您提交包含 根据聚类列过滤数据的子句 BigQuery 使用已排序的块来消除对不必要数据的扫描。