【发布时间】:2023-01-19 16:09:33
【问题描述】:
我有一个表“x”,其中包含青铜层中的原始数据。我有另一个表“Y”,它位于银色层中并包含转换后的数据。现在增量数据进入表 x,我想将青铜层中的表 x 中的增量数据合并到银层中的表 Y。 所以我想为此构建一个 Delta 实时表。
【问题讨论】:
-
与原始问题相同 - 发布代码和更多详细信息
标签: azure-databricks delta-live-tables
我有一个表“x”,其中包含青铜层中的原始数据。我有另一个表“Y”,它位于银色层中并包含转换后的数据。现在增量数据进入表 x,我想将青铜层中的表 x 中的增量数据合并到银层中的表 Y。 所以我想为此构建一个 Delta 实时表。
【问题讨论】:
标签: azure-databricks delta-live-tables
先把青铜表的数据炸成一张临时表,再把数据压平成另一张临时表。然后使用合并操作将数据加载到我的银表中。
请通过official documentation。我在我的环境中使用示例代码遵循相同的场景。我添加了一个银表,它对我来说工作正常,没有错误,并创建了一个 delta 实时表。
更多信息参考这个link,它在带有增量负载的增量实时表上方有详细信息。
【讨论】: