如何构建和实施自助式自定义报告？ [关闭]答案

【问题标题】：How do I architect and implement self-serve custom reporting? [closed]如何构建和实施自助式自定义报告？ [关闭]
【发布时间】：2009-05-21 08:36:42
【问题描述】：

需要什么样的架构、设计和软件才能提供类似于谷歌分析提供的出色自定义报告功能的功能。更具体地说，我们希望用户能够从列表中指定维度和指标并生成报告。

我们需要数据仓库吗？
我们需要 OLAP 吗？
数据访问层需要 ORM、动态 sql 或存储过程？
有没有第三个派对或开源产品，可以让我们分道扬镳？

还有其他人（公司、开发人员）甚至在 google 级别上完成了此功能吗？例子？

注意

我对建立一个谷歌分析竞争对手不感兴趣。我希望将报告的易用性应用于我们自己独特的数据集。

谢谢

【问题讨论】：

您是指开发人员或公司中的其他人吗？ Omniture 是谷歌分析的巨大竞争对手，甚至可以超越它们。但他们不是免费的。 omniture.com/en

标签： database-design architecture reporting

【解决方案1】：

您肯定需要一个数据仓库，其中包含在非高峰时间运行的大量 ETL、agg 和 pre-agg 进程。 OLAP 多维数据集无法真正扩展以进行大量 Web 分析。

对于数据收集，您可能还希望使用 MSMQ 或类似的硬件负载平衡。磁盘 I/O 是一个典型的瓶颈，因此在内存中工作并进行一些预聚合肯定会有所帮助。在我之前在 Microsoft 的工作中，我们的一些遗留数据收集系统直接登录到日志文件而不是数据库。我们使用了log parser)，并且几乎全天候进行大量 ETL 和聚合。

数据收集是它的核心，如果您打算扩展，您将不得不构建一个最先进的数据仓库。我们几乎完全依赖存储过程。我们有数千个，其中一些非常复杂且经过大量优化。除了性能之外，可扩展性也是一个大问题。

【讨论】：

【解决方案2】：

您可能想查看http://haveamint.com/。它不是免费的，但作为一种产品，它可以让您托管自己的分析。

Piwik (http://piwik.org/) 是一个很棒的开源实现。

就构建谷歌分析竞争对手而言，分析将不是困难的部分。如果您的服务会着火，最大的困难将是扩展数据库。

【讨论】：