使用 $or 运算符时 MongoDB 查询变慢答案

【问题标题】：MongoDB query to slow when using $or operator使用 $or 运算符时 MongoDB 查询变慢
【发布时间】：2017-07-08 20:40:18
【问题描述】：

我正在尝试对我的收藏集进行此查询Audios

    var querySlow = {
        "palabra": {
            $regex: "^" + keywords,
            "$options": "i"
        },
        $or: [{
            "_p_pais": {
                $in: interested_accents
            }
        }, {
            "languageCodeTatoeba": {
                $in: interested_accents_tatoeba
            }
        }]
    }; // takes 20 seconds

这实际上真的很慢，但如果我删除任何$or，它非常非常快，例如：

    var queryFast1 = {
        "palabra": {
            $regex: "^" + keywords,
            "$options": "i"
        },
        $or: [{
            "_p_pais": {
                $in: interested_accents
            }
        }]
    }; // takes less than 1 second

或者这个

    var queryFast2 = {
        "palabra": {
            $regex: "^" + keywords,
            "$options": "i"
        },
        $or: [{
            "languageCodeTatoeba": {
                $in: interested_accents_tatoeba
            }
        }]
    }; // takes less than 1 second

这是慢查询的.explain()：

http://pastebin.com/nrhjB1wf

我其实不知道如何管理索引，我应该为这个集合创建一个索引吗？？

【问题讨论】：

你能发布快速查询的.explain()吗？

标签： mongodb indexing mongodb-query

【解决方案1】：

您的查询和索引存在一些问题：

1. $or 使用不同的索引

MongoDB 只使用一个索引进行查询，但涉及$or 子句的查询除外。来自Indexing Strategies 页面：

通常，MongoDB 只使用一个索引来完成大多数查询。但是，$or 查询的每个子句可能使用不同的索引

同样来自$or Clauses and Indexes 页面：

也就是说，MongoDB要使用索引来评估$or表达式，$or表达式中的所有子句都必须被索引支持。

关于您的查询，您可以尝试重新排列查询以使 $or 子句成为顶级子句：

{$or: [
    {"palabra": {...}, "_p_pais": {...} },
    {"palabra": {...}, "languageCodeTatoeba": {...}}
]}

在这种形式下，MongoDB 可以使用两个索引：

具有palabra 和_p_pais 术语的复合索引，以及
具有palabra 和languageCodeTatoeba 术语的复合索引

请使用explain("executionStats")检查索引是否正确使用。您要最小化的关键指标是文档数 (nReturned) 与检查的文档/键总数。比率越接近 1，您的查询就越有选择性，性能就越好。

例如，如果 MongoDB 必须检查 1000 个文档 (totalDocsExamined: 1000)，但只返回 10 个文档 (nReturned: 10)，那么您的查询不是很有选择性（即比率为 10/1000）。理想查询的比率接近或等于 1，例如nReturned: 10, totalDocsExamined: 10，比率为 1 (10/10)。

有关explain()的更多信息，请参阅：

2。索引过多

索引过多可能导致：

查询规划器选择次优索引，因为它们看起来都一样，所以它不知道要使用哪个索引。
插入/更新性能相对较慢，因为对索引中包含的字段的每次插入/更新也需要对索引进行插入/更新。

从您发布的解释结果来看，您的集合中至少有这些索引：

_p_pais_-1__p_user_-1__created_at_-1
languageCodeTatoeba_1_lowercase_1
languageCodeTatoeba_1
languageCodeTatoeba_-1
_p_pais_-1
_p_pais_1_languageCodeTatoeba_1
palabra_-1
palabra_1__created_at_-1

这组索引有两个问题：

在索引中，有些是多余的。例如，languageCodeTatoeba_1（升序索引）和languageCodeTatoeba_-1（降序索引）实际上是相同的索引。可以删除其中一个，而不会对查询性能产生任何影响。
很多索引是另一个索引的前缀。例如，palabra_-1 和 palabra_1__created_at_。 palabra_-1 索引可以删除，因为它是palabra_1__created_at_ 索引的前缀。请参阅Compound Index: Prefix 页面了解更多详情。

粗略一瞥，您可以将索引列表修剪为仅包含这 4 个索引而不是 8 个：

_p_pais_-1__p_user_-1__created_at_-1
languageCodeTatoeba_1_lowercase_1
_p_pais_1_languageCodeTatoeba_1
palabra_1__created_at_-1

有关索引的更多信息，请参阅以下链接：

3.为什么从 $or 术语中删除一个子句会加快查询速度

这是因为查询

{"palabra": {...}, $or: [{"_p_pais": {...}}]}

本质上是一样的

{"palabra": {...}, "_p_pais": {...}}

假设您有一个复合索引，例如 palabra_1__p_pais_1，MongoDB 将能够使用该索引。

同样，

{"palabra": {...}, $or: [{"languageCodeTatoeba": {...}}]}

本质上是一样的

{"palabra": {...}, "languageCodeTatoeba": {...}}

此查询可以使用您的集合中已有的_p_pais_1_languageCodeTatoeba_1 索引。

简而言之，这两个查询很快，因为您删除了 $or 子句，使 MongoDB 能够使用正确的索引。

【讨论】：