雪花在自我加入时创建物化视图答案

【问题标题】：Snowflake Create Materilaized view on self Join雪花在自我加入时创建物化视图
【发布时间】：2021-05-21 00:10:48
【问题描述】：

我正在尝试在具有最新数据的表上创建一个物化视图。查询看起来像这样

Create Materialized view t1_latest as
select c1,c2,dt from t1
join
(select max(dt) maxdt from t1) t2
ON t1.dt = t2.maxdt

dt 是日期字段。

现在我们知道物化视图不允许子查询或窗口函数。有没有办法重写查询以创建具有最新日期的物化视图。不能将最新日期视为 current_date 或硬编码。

另一种方法是使用连接创建视图，然后在其之上创建物化视图。但问题是我们将失去物化视图预先计算的优势。

任何建议。

【问题讨论】：

【解决方案1】：

如果您的表由dt 聚集，并且您只需使用与上述相同的逻辑对其进行标准视图，您实际上将获得完全相同的性能增益。这将以与创建物化视图相同的方式修剪表。

如果表已经聚集在其他东西上，那么使用 dt 作为集群键创建一个简单的物化视图将提供相同的好处，而且还具有能够简单地查询基表并具有查询优化器帮助选择最佳修剪选项：

根据评论编辑：不知道我理解为什么你不能使用任务/流，但是如果你对任务和流做了一些不同的事情怎么办。

在 Snowflake 中，删除基本上只是一个元数据操作，因为所有微分区都将包含相同的日期，具体取决于您描述正在加载的数据的方式。

【讨论】：

我同意，但是我们的客户要求是有一个只包含最新数据的表。不使用任何 etl 工具。所以基本上 t1 表是使用雪管创建的，计划是将物化视图放在表的顶部。我们不能使用任务和流，因为我们不知道文件进入 s3 的确切时间
@danD 我已经根据您已阐明的“表格要求”编辑了第二个选项。它有点在盒子外面。此外，您可能想向客户解释，在聚簇表上的视图性能与仅包含 1 个数据日期的 MV 相同。他们可能不明白事情是如何运作的。