每月管理 100 万条记录插入/选择 [关闭]

Question

我正在开发一个实时提要，它可以为我提供实时数据。
记录数高达每月 100 万，我需要根据这些记录提供报告。

我选择了Mongodb，因为它在获取记录方面表现出色。

我在管理这些数据时遇到了问题，因为 1200 万条记录。
我需要明智地保存每个月的数据吗？
我应该每个月使用不同的集合吗？

分析报告和所有内容都有很多选择查询。

Answer 1

这取决于您希望如何使用数据，这由您决定。大量数据没有任何问题，您只需要使用与缓存工作相同的逻辑来限制繁重的查询（更容易访问，但不那么新鲜）。一种常用的方法是：

您有一个包含数百万条记录的“原始数据”表。该表非常大，但包含“纯”数据。您希望尽可能少地访问此表，因为它会很慢。

下一个表格不太准确，并且汇总了您需要的信息。在您的情况下，这可能是您在一个月结束后创建的“month_summery”。这样你仍然有完整的数据集，还有一个包含相关信息的小表（例如 num 行、sumOfX、averageOfY 等）。您的繁重查询现在是每月一次，您可以以此为基础进行统计。

如果您需要每周的数据，您可以制作一个“week_summery”表。或者，如果您需要每天的统计数据，那么您每天都需要，每年 365 个条目仍然比数百万要少得多。