【问题标题】:DWH and ETL explainedDWH 和 ETL 解释
【发布时间】:2015-01-29 15:11:42
【问题描述】:

在这篇文章中我不是在问任何教程,如何做某事,在这篇文章中,我是在寻求你的帮助,如果有人可以用简单的话解释我,什么是 DWH(数据仓库)和什么是 ETL。

当然,我在 google 和 youtube 上搜索了很多,我发现了很多文章、视频,但我仍然不太确定它是什么。

我为什么要问?
在我申请工作之前,我需要非常了解它。

【问题讨论】:

  • 现在我正在观看有关此的视频,最重要的是数据仓库,它是如何工作的,它是什么,何时使用。据我了解,(如果这是正确的)DWH 主要用于分析数据,对其进行分组,因此当我们搜索某种数据时,我们无需遍历所有数据库,因为它在 DWH 中很好地排序。找到我们需要的东西更容易、更快捷。 ?
  • 所以我只想确定,如果我认为我理解的部分知道,它是否正确。所以假设我们有一家使用 DWH 的公司,假设有销售、营销、财务等。该公司的每个部分都包含需要分析的信息(数据)。因此,来自营销、财务或销售的所有数据都进入集成级别,ETL 部分发生在哪里。 E - 数据进入这部分,T - 我们将数据转换为我们需要的格式,L- 我们将其加载到 DWH。然后所有日期按零件、销售数据、营销数据等排序。

标签: etl dimensional-modeling


【解决方案1】:

这个答案绝不应该被视为数据仓库的完整定义。这只是我试图用外行的术语来解释这个术语。

事务(操作,OLTP)和分析(数据仓库)系统都可以使用相同的 RDBMS 作为后端,并且它们可能包含完全相同的数据。但是,它们的数据模型将完全不同,因为它们针对不同的访问模式进行了优化

在事务系统中,您通常使用单行(例如客户或发票),并且写入一致性至关重要,因此数据模型是规范化的。相反,数据仓库针对读取大量行(例如,上一年的所有发票)和聚合数据进行了优化,因此维度模型被扁平化(星型模式、Kimball 维度和事实)。

事务系统仅存储实体的当前版本(即当前客户的地址),而数据仓库可能会使用渐变维度 (SCD) 来保存历史记录(例如,具有日期范围的客户的所有地址以指示每个地址何时有效)。

ETL代表extract、transform、load,它是以下过程:

  1. 从事务系统中提取数据,
  2. 将其转换为维度格式,
  3. 在数据仓库中加载。

【讨论】:

  • 我只想添加 ETL = 提取、转换、加载
猜你喜欢
  • 1970-01-01
  • 2020-11-28
  • 2023-03-25
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2010-09-29
  • 1970-01-01
相关资源
最近更新 更多