【问题标题】:General ETL principle - ETL from unknown number of tables? [closed]一般 ETL 原则 - 来自未知数量表的 ETL? [关闭]
【发布时间】:2014-02-03 00:17:08
【问题描述】:

AFAIK,ETL 集成来自固定数量的源/表的数据。考虑到这些表可能属于不同类型(客户、运输、员工、会计等),ETL 是否有可能整合未来可能添加的未知数量的表中的数据?

编辑 -

让 A,B,C 成为表格。我们可以有以下 ETL 场景 - A + B + C = 1 行或 A + B + C = 3 行

我有第一个。稍后,我们可以添加表 D、E、F、G...等,所有这些表在它们包含的数据方面都可能彼此不同。

【问题讨论】:

  • 太宽泛了——您是在询问具体的 ETL 工具吗?
  • @DStanley - 这是一个一般原则。但是,为了缩小范围,我会说 SSIS。
  • 我不知道这是否可能,但转换过程通常是为每个数据流或从表中提取定制的。我认为“未知数量的表”的想法没有意义,因为您必须知道它们才能清理和转换数据。
  • @carexcer - 我必须使转换逻辑也是动态的。我正在考虑将该逻辑存储在表格中。不知道这个方法好不好。
  • “总校长”?你是在看教科书还是什么?

标签: sql database ssis etl


【解决方案1】:

没有办法定义转换。

无论如何,在某些自定义数据库中预定义转换与在 SSIS 中预定义转换相比,效率并不高。优点是SSIS平台已经搭建好了!

您需要在某个时候定义转换,并且在看到源、目标和业务规则之前,您无法评估这些将是什么。

您可能对复制感到困惑。在这种情况下,没有转换。您只是通过 ETL 复制相同的表。例如,如果表 D、E、F、G 简单需要在不进行任何转换的情况下进行相同的复制,那么对于大多数复制平台而言,只需添加表而不需要进行任何转换就相对简单。

BIML 是一种自动生成 SSIS 包的方法。也许您应该对此进行一些研究。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-02-12
    • 2018-06-26
    • 1970-01-01
    相关资源
    最近更新 更多