【问题标题】:Creating a delta live table for reading incremental data创建用于读取增量数据的增量活表
【发布时间】:2023-01-19 16:09:33
【问题描述】:

我有一个表“x”,其中包含青铜层中的原始数据。我有另一个表“Y”,它位于银色层中并包含转换后的数据。现在增量数据进入表 x,我想将青铜层中的表 x 中的增量数据合并到银层中的表 Y。 所以我想为此构建一个 Delta 实时表。

【问题讨论】:

  • 与原始问题相同 - 发布代码和更多详细信息

标签: azure-databricks delta-live-tables


【解决方案1】:

先把青铜表的数据炸成一张临时表,再把数据压平成另一张临时表。然后使用合并操作将数据加载到我的银表中。

请通过official documentation。我在我的环境中使用示例代码遵循相同的场景。我添加了一个银表,它对我来说工作正常,没有错误,并创建了一个 delta 实时表。

更多信息参考这个link,它在带有增量负载的增量实时表上方有详细信息。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-08-23
    • 1970-01-01
    • 1970-01-01
    • 2022-08-17
    • 1970-01-01
    • 2021-04-02
    相关资源
    最近更新 更多