BigQuery 表中按 ID 列出的最新行的具体化视图？

Question

我有一个包含约 5k 个唯一 ID 的 BigQuery 表。每天都会为可能已经存在或不存在的 ID 插入新行。

我们使用这个查询来查找最近的行：

SELECT t.*
EXCEPT (seqnum),
FROM (SELECT t.*,
             ROW_NUMBER() OVER (PARTITION BY id
                                ORDER BY date_of_data DESC
                               ) as seqnum
      FROM `[project]`.[dataset].[table] t
     ) t
WHERE seqnum = 1

虽然我们只需要每个 ID 的最新行，但此查询必须扫描整个表。随着表大小的增长，此查询每天都会变得更慢且成本更高。现在，对于一个 8GB 的​​表，上面的查询创建了一个 22MB 的表。如果它可以保持最新，我们更愿意查询 22MB 表。

是否可以创建一个物化视图来获取每个 ID 的最新行？

有没有比将表格扩展到无穷大更好的解决方案？

其他要求：

• 保留历史数据（某处）
• 无法使用更新 - 我们每天会更新超过 1,500 个 - https://cloud.google.com/bigquery/quotas

Answer 1

其中一个解决方案是partition 您的主表（包含所有行），按date_of_data 列，每日粒度。

创建一个单独的表，该表将只保留每个 ID 的最新行。对整个主表进行一次扫描，然后每天通过仅查询主表的最后一天来更新它。由于分区查询主表的最后一天将只扫描主表的最后一天。