加载 BQ 聚簇表的问题

Question

当我尝试将数据从现有分区表加载到 Bigquery 中的新聚集表时，我看到以下错误。

Failed to copy Natural partitioned table to Natural partitioned clustering table: not supported

请输入任何内容。

Answer 1

根据https://cloud.google.com/bigquery/docs/creating-clustered-tables 您可以将表创建为：

CREATE TABLE
   mydataset.myclusteredtable
 PARTITION BY
   DATE(timestamp)
 CLUSTER BY
   clustering_column AS
 SELECT
   *
 FROM
   `mydataset.mytable`

注意：查询聚簇表和将查询结果写入聚簇表仅支持标准 SQL。

Answer 2

注意，BigQuery 支持几种partitions：

• 提取时间：根据数据的提取（加载）日期或到达日期对表进行分区。
• 日期/时间戳：根据 TIMESTAMP 或 DATE 列对表进行分区。
• 整数范围：此功能处于预发布状态

表只能由一个字段分区，该字段必须是时间戳或日期列，并由一组列聚集。

先决条件：

• 执行此过程时，您必须具有BigQuery’s documentation 中列出的权限。
• 当您将聚簇表功能与分区表一起使用时，您需要遵守limits on partitioned tables。
• 配额和限制也适用于您可以针对聚簇表运行的不同类型的作业，包括 loading data（加载作业），在您的情况下会发生什么。
• 在 BigQuery 中查找 creating clustered tables。

如果所有源表都是分区表，则所有源表的分区规范必须与目标表的分区规范匹配。源表和目标表必须位于同一位置的数据集中。