具有不同结构的多源管理

Question

我有一个设计问题，可以有多种选择。 我们有多个来源可以从中提取数据： src1,src2,src3
这些来源以不同的方式呈现有关相同内容的信息， 假设 src1 的 table1 有 3 个字段（f1，f2，f3） ,src2 有 table1 字段(fc1,fc2,fc3,fc4,fc5) 等

我想要的是一个可配置的输出（配置需要最少的努力），并且在另一端有一个统一的结构。这个配置将让我决定我想为下一次上传选择的 src、table、files。

我的解决方案包括以下设计决策：

• 维护一个元区域，您需要在其中了解每个数据源的信息。该元区域将包含源支持的所有建议结构的超集。
• 现在为每个来源获得一个工作暂存区域，该区域从该初始元区域映射。

这将解决两个问题， 1.跟踪所有来源 2.统一的来源列表

我想对此设计提出进一步的建议。

我查看了一些来源，但没有提及相关过程。

在协调多个来源时避免数据质量陷阱： [http://www.blue-granite.com/blog/bid/313445/Avoiding-Data-Quality-Pitfalls-when-Reconciling-Multiple-Sources]

Answer 1

我们使用一些元数据表解决了一个非常相似的情况。该表类似于 metadata_tbl(type, property, value, enabled)。 类型将定义这是什么类型的属性。 属性可以是值可以改变的任何东西。 值实际上将包含以启用标志为特征的任何活动场景的正确值。 根据您的要求，如果多个记录可以启用标志设置为 Y，您可以创建规则。

现在对于任何情况，您只需搜索特定类型和属性并选择有效值。

例如要将源表 A 的某列 x 映射到目标表 t 中的 Y 列，可以在元数据表中创建一条记录

Type      Property    Value  Enabled
ColMap    t.y         x      Y

稍后如果映射发生变化，您只需在此处更改映射，您的 ETL 根本不需要更改。