【发布时间】:2012-01-08 14:39:45
【问题描述】:
我每天可能有 10 到 2000 万条详细记录(统计和性能数据),必须读取这些记录,并汇总为 24 小时和 1 条每日摘要记录。
该过程计算几个字段的平均值,获取其他字段的最大值和最小值,在 CPU 方面没有什么意义。
是不是更好:
A) 在记录进入时将详细记录汇总到汇总记录中,稍微延迟每个详细记录的插入?我假设汇总表中会有很多锁定(选择更新等),因为有几个不同的系统导入数据。
B) 等到小时结束,然后选择整个以前的小时数据并创建摘要记录?用户查看统计数据会有延迟,但在此期间会提供详细记录。
也许有替代方法?
【问题讨论】:
标签: mysql parallel-processing batch-processing