Delta 实时表 - 缓慢变化的尺寸答案

【问题标题】：Delta live tables - Slowly changing dimensionsDelta 实时表 - 缓慢变化的尺寸
【发布时间】：2022-07-08 10:05:49
【问题描述】：

是否可以使用 Delta Live Tables 创建渐变维度机制？我想实现这样的https://docs.databricks.com/_static/notebooks/merge-in-scd-type-2.html

但在 DLT 文档中，我发现“不支持处理来自源表的更新，例如合并和删除。要处理更新，请参阅 APPLY CHANGES INTO 命令” - 但是 https://docs.databricks.com/data-engineering/delta-live-tables/delta-live-tables-cdc.html只是CDC，你对SCD有什么想法吗？

【问题讨论】：

【解决方案1】：

您现在注意到，DLT 仅支持 SCD 类型 1 (CDC)。对 SCD 类型 2 的支持目前处于私人预览版中，应该会在不久的将来提供 - 请参阅 Databricks Q2 public roadmap 了解更多详细信息。如果您的帐户中有解决方案架构师或客户成功工程师，请让他们将您加入私人预览版。

【讨论】：

您熟悉解决方法示例吗？可以通过使用CDC或其他东西来完成吗？或者我应该使用这种方法创建它docs.databricks.com/_static/notebooks/merge-in-scd-type-2.html
我知道那个实现，但我没有使用 DLT

【解决方案2】：

DLT 现在在公共预览版中支持 SCD 类型 2。您可以了解它并查看this document中的示例

【讨论】：