在数据仓库中发布数据答案

【问题标题】：Publishing data in a data warehouse在数据仓库中发布数据
【发布时间】：2012-01-27 00:27:45
【问题描述】：

是否有最佳实践或众所周知的方法来发布/宣布（通过元数据等）哪些数据已加载、验证并且当前可用于在数据仓库中报告？

我见过几个内部系统可以做到这一点 - 有些非常脆弱。

我可以寻找一些众所周知的概念或好的搜索词吗？

【问题讨论】：

嗯，在我看来，你的问题对于 SO 来说太宽泛了。你到底想达到什么目的？当然有很多 ETL 工具和产品……
我意识到这个问题很高级。但是，我并不是在询问整个 ETL 流程或 ETL 工具。我对最后发生的事情特别感兴趣——一旦 ETL 成功完成和验证。我想知道是否有任何关于如何告知最终用户数据已准备好以一种健壮且可维护的方式使用的标准概念。这个过程的这一部分总是你自己的事情吗？

标签： architecture metadata data-warehouse etl

【解决方案1】：

我不确定您在这里寻找什么，但用户究竟在等待什么？

如果系统在定义明确且一致的日常 ETL 流程运行后再次可用，那么发送电子邮件、重新启用报告应用程序、更新 Intranet 站点上的状态图标等很容易。

另一方面，如果他们正在等待一个非常具体的数据集（“东南亚地区小部件部门的 Q4 销售数据是否可用？”）那么事情就会变得更加困难，因为每个人都在对不同的东西感兴趣。这甚至不是一个真正的技术决策，因为知道源数据何时完整且正确是一个业务问题，对于每个源系统或数据集可能有不同的答案。在我们的环境中，每日报告是完全自动化的，但每月或每年的报告不是，主要是因为经常存在不一致的事件或流程，这意味着我们仍然需要人工来确认报告是否可以运行。

我相信您可以使用元数据来构建某种仪表板，以显示某些数据的加载时间，但它会针对您的情况和您的用户非常具体，因此我不知道是否有任何通用解决方案或模式.我想这将非常依赖于您的业务流程、报告架构（用于元数据）和报告工具。

【讨论】：

谢谢。这实际上是有帮助的。我的经验是在我参与的项目中没有遵循通用的解决方案或模式。元数据和数据就绪通知的设计非常特别。这可能是一个对于最佳实践来说变化太大的领域。然而，我什至没有找到关于这个话题的一些高层讨论似乎很不寻常。

【解决方案2】：

我认为这取决于您在仓库和集市上使用的 BI 工具。例如，IBM Cognos 为用户提供了多种方法来查找新数据。这包括：-

可以在 ETL 流程结束时触发的触发器，从而导致 Cognos 中的计划报告运行。
可与特定报告甚至报告中的单元格相关联的监视功能，以便在保存新版本的报告输出或用户定义范围内的单元格值发生变化时通知该用户。
事件通知功能（事件工作室）。

第 2 项特别有用，因为它使用户能够按异常而不是按计划开始报告。他们可以让系统告诉他们什么时候需要注意某事，而不是让他们死记硬背地运行一组报告或查询来寻找变化。

【讨论】：