数据仓库注意事项：何时以及为何？ [关闭]

Question

这里有一点背景：

我或多或少知道what a data warehouse is。我读过几十本关于数据仓库的指南，我玩过 SSAS，我知道星型模式、维度表和事实表是什么，我知道 ETL 是什么以及如何去做。 这不是“如何”问题或教程请求。

我的问题是，我读过的所有关于数据仓库的材料似乎都掩盖了构建数据仓库的基本原理。它们都是比喻性的，或者在某些情况下以字面意思开头“所以你决定建立一个数据仓库......”除非我还没有做出那个决定。

所以我希望 SO 成员可以指点我或帮助提出某种半客观的测试。我可以适应特定系统并最终得到“是的，我们需要一个数据仓库”或“不，今天的回报太小”的东西。我认为我应该能够回答的具体问题是：

1. 在什么时候构建数据仓库是值得考虑的选择？换句话说，我应该注意哪些迹象、指标或其他标准可能表明标准的交易环境已经不够用了？

2. 完整数据仓库的替代方案有哪些？事务数据库中的非规范化和沼泽标准复制的“报告服务器”是我想到的两个；在加入 DW 之前，我还有什么需要探索的吗？

3. 为什么数据仓库比上述替代方案更好？如果答案是“它取决于”，那么它取决于什么？

4. 我什么时候不应该尝试构建数据仓库？无论上下文如何，我都对任何被宣布为“最佳实践”的东西持怀疑态度。当然，在某些情况下，DW 是错误的选择——它们是什么？

5. 是否有任何实用示例可以查看通过引入数据仓库而得到改进的系统？可以端到端地向我解释，他们需要仓库进行什么样的决策或分析，他们如何决定在其中放置什么，以及仓库最终如何适应更大的环境？我不想要一个人为的“让我们从 AdventureWorks 数据库中制作一个立方体”——实现与我无关，我对 规格和设计以及整体思考过程感兴趣 参与其中。

我一般尽量不问多方，但我认为这些都是密切相关的。我愿意接受至少解决前 4 个问题的任何答案，尽管最后一个问题确实有助于在我的脑海中明确这一点。如果有人已经写过这方面的文章，链接很好，只要它们相当简洁和具体（指向 Ralph Kimball 主页的链接 = 没有帮助）。

希望我已经把问题说清楚了 - 提前感谢您的回答！

Answer 1

我会尽量简洁地回答你的问题。

1. 构建数据仓库在什么时候值得考虑？ 换句话说，什么明显的迹象， 指标或其他标准我应该是 寻找可能表明 一个标准的交易 环境已经不够用了？

一个。如果您发现报告和监控正在损害您的生产系统和/或离线数据存储的性能。

b.如果您发现获得业务问题的答案每次都需要构建大量复杂的 SQL。

c。如果您发现每次更改事务架构时，您都必须返回并重新处理所有报告查询。

d。如果您想汇集来自多个来源的数据。

2. 完整数据仓库的替代方案有哪些？ 事务中的非规范化 数据库和沼泽标准 复制的“报告服务器”是两个 想到的；有没有 其他我应该先探索的 致力于 DW？

3.为什么数据仓库比上述替代方案更好？如果答案是， “它取决于”，那么它取决于什么 开吗？

我会一起回答这些。我不会认为数据仓库是全有或全无的冒险。这只是一个简洁的短语，意思是“以一种可以让您更轻松、更快速地回答业务问题的方式存储您的数据。”

事务数据库旨在有效地与应用程序交互。数据仓库、数据集市、运营数据存储和报告表的构建是为了有效地与人交互，如果这有意义的话。

4. 什么时候不应该尝试构建数据仓库？我对此表示怀疑 任何被宣布为“最佳实践”的东西 与上下文无关。肯定有 一定是一些有DW的场景 错误的选择 - 它们是什么？

好问题。如果您的交易系统为您提供了对业务的足够洞察力，那么您可能不需要仓储。

如果您只有一个数据源并且性能不是问题，您可能可以通过创建简单的报告表来获得洞察力。

5. 有没有我可以查看的实际系统示例？ 通过引入数据改进 仓库？会的东西 向我解释，端到端，什么样的 他们需要的决策或分析 仓库，他们是如何决定的 放什么，以及如何 仓库最终适合 更大的环境？我不想要一个 人为的“让我们做一个立方体 AdventureWorks 数据库”—— 执行与我无关， 我对规格感兴趣 和设计和总体思路 所涉及的过程。

这是一个很大的问题，需要的篇幅比我在这里分配的要多。

在这一点上，我可以为您指出一些可能提供您所寻求的洞察力的地方。

• Bruce Ullrey 的“实施数据仓库：一种行之有效的方法”是一本书，记录了一个人构建数据仓库的历程。它没有高度抛光，这使它更加真实。它读起来就像一本日记，里面有很多模型和其他视觉效果很好地说明了他的努力。
• Larissa Moss 的“商业智能路线图”。标准票价。引导您完成构建高级别的 BI 实践的过程。
• Steve Williams 的“商业智能的利润影响”提供了一些案例研究，展示了构建数据仓库的价值。

Answer 2

1. DW 的主要目的是加速（简化）报告和分析。它可以以业务用户可以想到的任何方式对数据进行切片和切块。

2. 对于第一步 DW，您可以简单地实现一个 Kimball 星型模式并针对它运行 SQL 查询。如果这被证明仍然太慢，请开始考虑预先计算的聚合（多维数据集）。

3. 针对 DW 对信息进行切片和切块比针对规范化数据库要简单得多。复制的报表服务器将提高性能，但不会简化切片和切块。还要记住，DW 属于业务用户，因此他们可以随时提出各种切片/骰子的想法——IT 人员应该简单地提供这样的环境。

4. 如果您只是不时在操作系统上运行少量报告并且对性能感到满意，则不需要 DW。

5. 我的所有经验都来自于业务用户无休止地抱怨报告速度慢和无法编写“复杂查询”的系统，而生产人员抱怨数据库因报告而陷入困境。在所有情况下，一个简单的 Kimball star 和一个带有缓存和快照的报表服务器就足够了。

Answer 3

1. 当满足以下两个条件时，您应该考虑构建数据仓库：

   • 海量数据
   • 许多大型复杂选择（可能与少数插入、更新和删除相比）执行时间过长（并且编写起来很复杂）
   • 需要合并来自不同系统的数据

2. 真正的问题是您认为数据仓库是什么。在许多情况下，只要您能坚持使用关系数据库管理系统，您就可以逐渐从带有一些报告的 OLTP 系统迁移到成熟的数据仓库。首先可能是构建第一个事实表，并继续使用规范化表作为维度。然后在游戏中添加更多事实、更多事实表或专用维度表。首先在同一个数据库（或相关系统的数据库之一）中，稍后可能会移动到单独的数据库中。

3. 完整的数据仓库（独立数据库，星型模式）提供了优化选择语句的最佳选项，除了使用专门的系统。它还与 OLTP 系统完全分离。想想架构设计，还有 CPU、I/O 和内存等资源以及组织，比如新版本的调度。当然这是很多你可能不需要的工作。

4. 在上面的答案中：仅仅因为您有一些复杂的查询，并不意味着您应该构建 DWH，如果它们是孤立的，其他条件也同样适用。

5. 这里不能提供太多建议，但建议：保持敏捷。 DWH 的要求在很大程度上取决于用户看到的可能性。那里的要求可能会发生变化。使用数据库自​​动化测试很痛苦，但在没有适当测试的生产系统中胡闹更糟糕。

Answer 4

在什么时候构建数据仓库是值得考虑的选择？换句话说，我应该注意哪些迹象、指标或其他标准可能表明标准事务环境已不再足够？

当您发现在事务数据存储中执行报告和分析活动对两者都有害时，我建议您使用数据仓库。

完整的数据仓库有哪些替代方案？事务数据库中的非规范化和沼泽标准复制的“报告服务器”是我想到的两个；在投身 DW 之前，我还有什么需要探索的吗？

我在这里没有什么可以提供的。我想说的是，不管你是否称它为仓库，保持事务和报告数据库对我来说似乎是明智的。数据挖掘可能是一项占用大量 CPU 资源的活动。

为什么数据仓库比上述替代方案更好？如果答案是“它取决于”，那么它取决于什么？

我这里没什么可提供的。

什么时候不应该尝试构建数据仓库？无论上下文如何，我都对任何被宣布为“最佳实践”的东西持怀疑态度。当然，在某些情况下，DW 是错误的选择——它们是什么？

我想说，如果您不需要保留很长的历史记录，不需要对数据进行深入分析，并且您的报告需求仅限于不时进行的临时查询，那么也许是数据仓库没必要。

我可以看看通过引入数据仓库来改进系统的任何实际示例吗？可以端到端地向我解释，他们需要仓库进行什么样的决策或分析，他们如何决定在其中放置什么，以及仓库最终如何适应更大的环境？我不想要一个人为的“让我们从 AdventureWorks 数据库中制作一个立方体”——实现与我无关，我对所涉及的规范和设计以及整体思考过程感兴趣。

在我到达之前，我的雇主已经使用了多年的数据仓库，所以我无法说出我到达之前的情况。

Answer 5

根据我的经验，开始考虑数据仓库的第一个迹象是当您拥有（或正在开发）事务数据库并且用户开始添加大量报告和数据历史记录要求时。几乎总是这样。拥有一个单独的数据仓库或报告数据库总是比尝试设计一个处理最终用户始终拥有的报告需求的事务系统更容易。在事务系统中存储历史（用于业务实体）会增加复杂性并使应尽可能响应的数据库膨胀。

另一方面，我曾在大型公司工作，那里有许多团队创建数据仓库，因为感兴趣的数据分布在许多系统中，因此难以查询。问题是每个小组都创建了自己的数据仓库，因为公司中所有现有的仓库都没有正确的信息子集，或者有一个被认为不是最佳或不正确的数据模型。这使情况变得更糟，因为它创建了更加分散且难以比较的数据系统。

Answer 6

如果长期使用“交易系统”，则可以考虑使用 DW。后来，他们意识到他们需要执行一些数据挖掘，以确定业务的不同数据模式。最后，在确定的数据模式的帮助下，人们希望帮助高层管理人员做出有利于公司的进一步决策。

建立数据仓库需要采取以下步骤：

1. 需要为数据库确定 ETL 平台和数据库。
2. 需要为可视化选择像 SSRS、Tableau 等报告工具。
3. 可以选择像 R 这样的数据分析语言以供进一步使用。
4. 最后，所有这些都将有助于开发数据仓库和报告工具。

Answer 7

“我认为为什么有些项目会失败？”

有五个主要原因：

• IT 部门和业务用户之间缺乏合作伙伴关系；
• 数据仓库架构不正确；
• 经验丰富的人不够；
• 计划不当，例如未使用经过验证的方法和确保不遗漏任何细节的计划；
• 并且取决于尖端技术。