在数据仓库中加载数据的最佳方式

Question

我们正在从头开始构建一个新的近实时（每 10 分钟刷新一次）医院数据仓库。数据位于 Oracle 数据库中，我们计划使用 SSIS 包从 Oracle 中提取数据并加载到 SQL Server 数据库中。我是 DWHousing 的新手，需要有关构建 DWH 的建议。

问题：

1. 从 Oracle 提取数据时，我应该导入完整的表还是应该只获取我想要的选定列？ 例如：如果我有 person、address、facility_hist 表，我应该将它们加入提取包中并且只获取选定的列吗？或者我应该在暂存区分别提取所有三个表，然后将它们组合并加载到 SQL Server 中。

2)应该在目标表上或在提取数据时创建索引？

1. 我计划通过使用 create_dt_tm 来分批进行初始加载，并在几个月内加载数据。加载完所有内容后，我们计划使用 updt_dt_tm 并加载过去 10 分钟内完成的所有更新。

2. 连接到数据库每 10 分钟获取一次数据是个好主意吗？

图片显示了我计划使用的 DWH ETL SSIS 包（而不是平面文件，我将把它连接到 oracle DB）

Answer 1

这是一个非常广泛的问题，您还没有深入了解 将源医疗数据映射到业务友好的星型模式。

数据仓库要求和十分钟要求从何而来？对业务来说更重要的驱动因素是什么：只有十分钟的延迟，还是拥有一致的正确信息？我猜重点是运营（准入等），而不是财务或人力资源？

从 Oracle 提取数据时，我应该导入完整的 表还是应该只获得我想要的选定列？例如 : 如果我有 person,address,facility_hist 表，我应该加入它们吗 提取包，只得到选定的列？还是我应该 在暂存区分别提取所有三个表，然后合并 并将它们加载到 SQL Server 中。

在“ODS 层”方法中，您的 SQL 数据库中有 Oracle 表的完整副本（通常在不同的 SQL Server 架构中。请注意，Oracle 和 SQL Server 中的“架构”含义略有不同）

ODS 基本上是源系统的副本。如果您想要 10 分钟刷新，那么您需要在 ODS 中进行增量（仅限更改）加载。为此，您需要知道自上次加载 ODS 以来源代码发生了什么变化。如果源中有“上次更改”字段，这很容易。否则就很难了。

ODS 方法与“批量加载”模式一致，即数据在层中批量处理。 ODS 允许您在不同的层进行测试和故障排除。

ODS 方法不同于“流”方法，后者支持实时报告，但在整个流中包含隔离的转换规则。

应该在目标表上或在提取数据时创建索引？

通常应在数据加载之前禁用/删除表上的索引，然后再重建

我计划使用 create_dt_tm 用于记录并以月为单位加载数据。一次 一切都已加载，我们计划使用 updt_dt_tm 并加载 过去 10 分钟内完成的任何更新。

我不知道updt_dt_tm 是什么，但这听起来是个好主意

连接到数据库每 10 分钟获取一次数据是个好主意吗？

是的。否则您将如何获取数据？

总之，专注于让 10 分钟的 ODS 副本工作，基于增量负载。然后您的下一步是将数据从 ODS 转换为星型模式。

我们如何从 Oracle 中提取数据并使用 SSIS 包将它们加载到 SQL Server DWH 中。

同样，这是一个非常广泛的问题，我可以在这里为您输入一个完整的方法，但我认为我的付费客户不会喜欢它

有许多设计模式。我更喜欢 T-SQL 繁重的 ELT（提取负载转换）ODS 方法，但根据我的经验是最好的方法。在这种方法中，您加载和暂存最近几天更新的记录，然后使用 SQL 将它们合并到 ODS 表中

只有一件事：我在您的问题历史中看到您在询问条件拆分。我只需要警告你，如果你开始在 SSIS 中使用条件拆分和查找来加载数据，那么你的包可能不会执行得很好，你最终会得到一些非常复杂的东西，而且它会吹爆你的十分钟。

这真的归结为 ETL 与 ETL 方法。如果您对 SQL 不满意，那么您可能不得不使用 ELT（SSIS 包中的所有登录）方法。但根据我的经验，它变得缓慢且难以维护

Answer 2

我最近构建了一个具有类似要求的解决方案，但我的解决方案将 100 多个表从 Oracle EBS 数据库复制到“实时 BI”系统，延迟只有几秒钟。但是，我选择 Vertica 作为 DB 和 StreamSets 进行数据集成。

StreamsSets 专为流式传输而设计，使用单一数据管道，它可以处理我的所有表。它计算出所有列，甚至计算出用于更新目标数据库的键。

我使用 Vertica 是因为列式 MPP 数据库可以提供 100 倍于行式数据库的性能，并且不使用需要重建的索引。 Vertica 比最近的纯云列式数据库（如 RedShift、Snowflake 和 BigQuery）更成熟，并且设计了内存中的写入优化存储和磁盘上的读取优化存储，因此写入速度非常快。在幕后，元组移动器进程每五分钟压缩一次写入的数据，但查询始终通过合并这两个区域来返回最新数据。

我们将表设计视为 ODS/数据湖，但我确实选择排除 100% 空的列（StreamSets 只是跳过不在目标中的列）。我确实有一些定期刷新的表，例如我的日历表和度量单位转换，因为视图可能会影响性能并且它们不会经常更改。否则，我不理会这些表，而是使用视图和 Oracle BI 语义层数据建模来为业务构建用户友好的视图。由于数据库是列式的，即使表经常有超过 100 列，我的查询也非常快。