数据仓库的实际实现

Question

数据仓库最近似乎是一个大趋势，对我来说非常有趣。我正在尝试熟悉它的概念，但在“通过树木看到森林”时遇到了问题，因为我可以在网上找到的所有数据仓库模型和描述都是理论上的，但不要t 给出了正在使用的实际技术的示例。我是一个上下文学习者，所以抽象的理论解释并不能真正帮助我。

现在似乎有很多“数据仓库模型”，但它们似乎都有一些相似的特征。通常有一个“ODS”（将来自多个来源的数据聚合到同一个位置的操作数据存储。称为“ETL”的过程然后将此 ODS 中的数据转换为“数据保险库”，以及再次进入“数据”和/或“策略集市”。

谁能提供一个可用于这些组件（ODS、ETL、数据保险库、数据/策略集市）的技术示例？

听起来 ODS 可能只是任何普通的数据库，但数据仓库似乎有一些特殊的事情发生，因为这些“集市”使用它来从中提取数据。

ETL 是我目前为止最令人窒息的事情。这是一种语言吗？一个框架？算法？

我想一旦我看到一个具体的例子来说明每一步发生了什么，我最终会明白。提前致谢！

Answer 1

ETL 是一个过程。该缩写代表 Extract-Transform-Load，它描述了在此过程中对数据所做的事情。该过程可以在您需要在具有不同数据格式的两个系统之间建立桥梁的任何地方实施。首先，您需要从源系统（数据库、平面文件、Web 服务等）中提取（提取）数据，然后处理（转换）数据以符合目标存储的格式（同样，它可以变化：数据库，文件、API 调用）。在转换步骤中，可以对数据集执行进一步的操作，以丰富来自其他来源的数据，清理并提高其质量。最后一步是将转换后的数据加载到目标存储中。

通常，ETL 流程用于加载数据仓库、在从旧系统迁移到新系统期间将数据从一个系统或数据库迁移到另一个系统或数据库，以及在两个或多个系统之间同步数据。它还用作更广泛的 MDM 和 BI 解决方案中的中间层。

就特定软件而言，市场上有许多 ETL 工具，从来自 Informatica、IBM DataStage、Oracle Data Integrator 等大公司的强大解决方案，到 CloverETL、Talend 或 Pentaho 等更实惠的开源提供商。这些工具中的大多数都提供了一个 GUI，其中数据的流动和处理是通过图表来定义的。

Answer 2

对于 Microsoft SQL Server 2005 及更高版本，ETL 工具称为 SSIS（SQL Server 集成服务）。如果您至少安装 SQL Server 的标准版本，您将获得 Business Intelligence Developer Studio，您可以使用它来设计数据流。基本上，ETL 工具所做的是从一个或多个源（表、平面文件等）获取数据，然后对其进行转换（添加列、连接、过滤、映射到不同的数据类型等），最后将其再次存储到一个或多个表或文件。

要基本了解某些东西的工作原理，您可以观看例如this video 或 this one（均来自midnightdba）。它们有点长，但你明白了。它们确实帮助我理解了 ETL 工具的基本功能。

很遗憾，我还没有深入研究其他平台或工具。

Answer 3

我强烈建议您阅读 Ralph Kimball 和 Margy Ross 的一些书籍（数据仓库工具包、数据仓库生命周期工具包），了解数据仓库的介绍。

我公司的数据仓库是使用用于 ETL 的 Oracle Warehouse Builder 工具构建的。 OWB 是一个 GUI 工具，可在数据库上生成 PL/SQL 代码以操作数据。处理和清理后，数据将发布到 Oracle 数据集市。数据集市是一个数据库实例，用户可以通过 Oracle Discoverer（Java 软件）访问它以进行即席查询。