如何处理大型mongodb集合

Question

我们有一个可能会非常大的集合。这个集合用于存储比尔相关数据。所以这通常用于报告/分析目的。

请告诉我处理这个大型收藏的最佳方法

1) 我可以拆分和存档旧数据（比如 12 个月期间）吗？但是这里需要旧数据来获取分析报告。我想查询这些旧数据以显示过去 2 年的销售比较。

2）我可以用旧数据（12 个月）创建新集合吗？所以每 12 个月我必须创建新集合。为了生成报告，我必须访问所有这些文档以进行查询。那么这会导致性能问题吗？

3) 我可以进行分片吗？

Answer 1

需要考虑许多变量，最清楚的是您使用的硬件、数据的结构以及查询方式。分布式网络应该能够比单台机器更快地处理您的数据，但在深入研究该解决方案之前，我建议生成与您预期相当的大量模拟数据，然后测试各种方法。严重地。创建一堆数据，并尝试破坏事物。很有趣！很快，您就会比任何网站都更了解您的问题需要什么。

至于直接回应：

1. 也许，在归档数据之前，可以生成（或更新）适当的统计信息摘要。这些摘要/简化可用于销售比较，而无需重新加载它们所代表的所有存档数据。

2. 这让我觉得很明智。通过拆分销售数据，您可以更好地控制需要访问的数据量。毕竟，用户并不总是希望看到 3 年的数据，他们可能只希望看到上周的数据。

3. 当你真正需要它时移动到分片。正如 MongoDB 网站所述：

   将非分片数据库转换为分片集群既简单又无缝，因此在数据集较小的情况下配置分片几乎没有优势。

当您的内存映射接近服务器的 RAM 限制时，您就会知道是时候了。 MongoDB 支持对太大而无法保存在内存中的数据库进行读写，但我相信你已经知道这是 SLOW。