处理大量报告数据

Question

我有一个报告系统，我需要将来自 3 个不同服务器（系统）的数据组合起来显示给用户。就几千条记录而言，这可以正常工作，但会增加系统超时。

我正在考虑使用另一种方法。当用户运行结果时，我将生成一个向数据库生成报告的请求。一个正在运行的守护程序将拾取它并收集数据并生成报告，并将通过电子邮件将报告数据的链接发送给用户。我可以在这里做很多事情。

1) 将收集到的数据以表格形式插入数据库，以便在页面上简单地显示给用户。 2）生成html并将其存储到数据库中。

虽然我认为第一个选项是最好的，但还有其他建议吗？

Answer 1

几个想法：

1. 考虑使用 hadoop 使您的报表处理具有很强的可扩展性
2. 考虑按时间间隔（例如每小时）运行报告。当用户请求报告时，您可以立即向他们显示最近生成的报告。
3. 绝对不存储html。而是在用户发出请求时呈现它。顺便说一句，这也让您可以灵活地向不同用户显示不同版本的报告