【问题标题】:what after extracting my DATA?提取我的数据后怎么办?
【发布时间】:2017-03-29 08:32:56
【问题描述】:

其实,我有一个项目要处理。我在寻求帮助。 我的项目是在商业智能和创建数据仓库领域。 我提取了我需要的数据(ETL),然后我该怎么办? 我正在使用 MS SQL Server 2014。 如何创建我的维度和我的事实表? 寻求建议 请接受我的救赎。

【问题讨论】:

  • 将您的数据转换为星型架构,使用 Power BI 作为仪表板;)
  • 要创建星型模式,是否需要使用已构建的包构建维度和事实表?是这样吗?我该怎么做?
  • 如果没有对这个主题有很好的理解,我不会进入它。您已经完成了 ETL 的 E,现在您需要执行 T 和 L。因此您需要首先设计事实和维度(参见 Kimball 的书籍),然后制作更多 ETL,将提取的数据加载到这些表中。一个好的起点是 KImball 关于 ETL 的书。尽管年代久远,它仍然具有相关性。

标签: etl data-warehouse business-intelligence


【解决方案1】:

这是一个大问题!不幸的是,Stack Overflow 的问答形式并不是回答这个问题的最佳场所。但这里有几点建议:

  • 一切从需求开始。在您编写任何代码之前,请弄清楚您的数据仓库将用于什么(弄清楚您的数据仓库不会用于什么也很有帮助)。

  • 分析原始数据。确保您知道什么是可用的,什么是不可用的。注意源系统的缺点。示例:如果您的报告需要按国家/地区划分您的客户,这些数据是否可用?如果是这样,它是否始终如一地填充(一些记录有 US,其他记录有 USA,其他记录仍然 America)?制定处理这些问题的计划(请参阅下面的数据清理)。

  • 对您的数据模型进行原型制作。 Excel 和Power BI 是测试设计的好地方。一旦您开始使用数据库,更改就变得更加困难。一开始就做好,你的生活会轻松很多。

  • 选择一个 ETL 工具。确保你理解它,它会发挥你和你的团队的优势。我喜欢SSIS。

  • 将原始数据导入staging tables。这有助于简化分析阶段。

  • Cleanse 数据。在数据仓库中,您可以 100% 控制每一行、每一列和每一单元格。利用这个事实。确保只有优质、有用、符合标准的数据才能进入您发布的表格。

与所有项目一样,规划和管理是关键。最后写代码和建表。

这里有一些资源可以帮助你:

  • Kimball Group。 Ralph Kimball 从字面上写了一本关于数据仓库的书(见下一个技巧)。他公司的网站包含一些提示和技巧。

  • 如果您不能参加培训课程,请购买一本好书。我会推荐这个one。这是一个很大的话题。博客和互联网只能教你这么多。

  • 下载并试用Adventure Works DW。这是一个示例数据仓库和 ETL 包,由 Microsoft 构建。它演示了您可以在 SSIS 中使用的一些技术。

【讨论】:

  • 非常感谢您的回复。这只是我第一次接触这个领域!
  • 这绝对应该打勾
  • 对不起,我不能给你更具体的答案,但这是一个很大的话题。我希望你的项目是成功的!祝你好运。
猜你喜欢
  • 2023-02-14
  • 1970-01-01
  • 2021-12-06
  • 2013-12-17
  • 2017-12-27
  • 2019-06-01
  • 1970-01-01
  • 1970-01-01
  • 2020-07-08
相关资源
最近更新 更多