这个简单的基于 SQL 的 ETL 解决方案有什么问题？

Question

我们主要使用 Informatica PowerCenter 将数据从其他关系数据库迁移到我们的数据仓库中。我来了 使用简单的算法将数据移动到星型模式或使用变更数据捕获的任何物化视图中，以及 想知道它有什么问题，以便更好地了解 Informatica 等工具的吸引力。

假设：

• 我们有一个 CDC 消息通道，各个插入/更新/删除事件通过该通道到达。
• 我们已将感兴趣的物化视图定义为针对源表的聚合 SQL 查询。换句话说，它是 包含 GROUP BY 表达式的 SQL 查询。因此，物化视图保证具有一致的 粒度，可以将 GROUP BY 表达式的内容作为其主键。

算法：

• 一个 CDC 消息通过该通道。源表行已更改：

  我们遍历所有依赖于该表的查询。对于每个查询，我们确定表是否是“主”表 或此特定查询的“非主要” - 例如查询的 GROUP BY 中是否使用了此表中的值 表达。也就是说，我们判断物化视图的PK是否直接依赖于这张表。

  • 主表已更改：

    • 插入了一个主表行，其值为 P=p：

      • 将原始行插入到源表的镜像中。
      • 使用过滤器 WHERE P=p 运行感兴趣的查询并找到受影响的行。
      • 将受影响的行插入到我们的物化视图表中。

    • 主表行已更新，值 P=p1 更改为 P=p2：

      我们将其拆分为两条消息：DROP P=p1（见下文）和 INSERT P=p2（见上文）。

    • 删除了值为 P=p 的主表行：

      • 只选择 PK 值和过滤器 WHERE P=p 来运行感兴趣的查询以查找 受影响的 PK 值（pk1、pk2、...、pkn）。
      • 删除源表镜像的原始行。
      • 从实体化视图表中删除 WHERE PK IN (pk1, pk2, ..., pkn) 行。
  • 非主表已更改：

    • 插入了一个具有相关值 V=v 的非主表行：

      • 将原始行插入到源表的镜像中。
      • 使用过滤器 WHERE V=v 运行感兴趣的查询，并找到受影响的 PK 值（pk1、pk2、...、pkn）。
      • 使用过滤器 WHERE PK in (pk1, pk2, ..., pkn) 运行感兴趣的查询并更新这些行 在物化视图表中。

    • 更新了非主表行，相关值从 V=v1 更改为 V=v2：

      我们将其拆分为两条消息：DROP V=v1（见下文）和 INSERT V=v2（见上文）。

    • 删除了相关值 V=v 的非主表行：

      • 只选择 PK 值和过滤器 WHERE V=v 来运行感兴趣的查询以查找 受影响的 PK 值（pk1、pk2、...、pkn）。
      • 从我们的源表镜像中删除原始行。
      • 使用过滤器 WHERE PK in (pk1, pk2, ..., pkn) 运行感兴趣的查询并更新这些行 在物化视图表中。

让它变得更好：

• 物化视图表的任何更新本身都可以转换为 CDC 消息。这将允许 对依赖于其他物化视图的物化视图进行递归更新。

如果这样的解决方案能够真正发挥作用并且快速且可扩展，那么它可以解决我们 80% 的 ETL 问题。然而， 我不可能是第一个想到这种幼稚方法的人，所以请告诉我为什么这行不通。

Answer 1

对于将来看到此问题的任何人，differential dataflow 是一个比我发布的更好的解决方案。有一个开源的类似 SQL 的差分数据流实现，称为 Materialize。