用于收集超过 1000 万条记录的 Mongo 查询优化

Question

我有一个包含超过 1000 万条记录的集合，我需要匹配特定字段并获取 记录集的不同 _id。

在 $match 管道之后，结果集变得少于 500 万。 如果我用 id 分组来获取唯一的 id，我本地环境的执行时间超过 20 秒。

db.getCollection('viewscounts').aggregate(
[
   {
       $match: {
           MODULE_ID: 4, 
       }
   },
   {
       $group: {
           _id: '$ITEM_ID',
       }
   }
], { allowDiskUse: true })

• 如果我去掉 $match 或 $group 并且只有 1 个管道，则执行时间小于 0.1 秒。

我可以限制 _id，但它们应该是唯一的。

谁能提出更好的方法来更快地获得结果？

Answer 1

您已经为查询实现了最佳聚合管道以获得所需的输出。

仅使用一个聚合管道时查询结果更快的原因是查询结果返回部分输出而不是全部 500 万条记录。当您添加两个阶段时，$match 阶段的整个输出必须由$group 阶段处理，从而导致更多时间。

优化聚合查询的唯一方法是在 MODULE_ID 和 ITEM_ID 键上应用索引

db.viewscounts.createIndex({MODULE_ID: 1}, { sparse: true })
db.viewscounts.createIndex({ITEM_ID: 1})

在您的viewscounts 集合上执行上述两个索引后应该会更快。

此外，您还可以从 MongoDB distinct 命令中获得所需的输出。试试下面的查询，看看是否有帮助。

db.getCollection('viewscounts').distinct("ITEM_ID", {"MODULE_ID": 4})

注意：上面的查询返回一个唯一键值数组，而不是聚合查询中的对象

希望对你有帮助