【问题标题】:Why Mongoose sort is slower than native javascript sort?为什么 Mongoose 排序比原生 javascript 排序慢?
【发布时间】:2017-07-23 11:45:21
【问题描述】:

我正在使用 Node.js 6.10.0 和 Mongoose 4.8.5。实际上,我正在尝试从坐标和特定日期时间中找到最近的坐标。我的 MongoDB 中有数十亿数据。我想对查询应用排序,因为我想按日期时间排序

(2017-03-02T03:00:00.000Z, 2017-03-02T03:01:00.000Z ... 2017 -03-02T03:23:00.000Z)

这是我对 Mongoose 排序的查询:

var condition = {
    $nearSphere: {
       $geometry: {
          type : "Point",
          coordinates : [2.2871244564, 47.930476456445]
       }
   }
};

var date_condition = {
   $gte: new Date('2017-03-02'),
   $lt: new Date('2017-03-03')
};

var selected_fields = '-_id loc datetime';

console.time('find')
var query = Model.find({loc: condition, datetime: date_condition}, selected_fields)
                 .limit(24)
                 .sort({date: 'asc'})
                 .exec();

query.then(function(docs){
    var json = {};
    json.data = docs;
    console.timeEnd('find')
    res.json(json);
});

这里很容易使用原生排序进行相同的查询:

console.time('find')
var query = Model.find({loc: condition, datetime: date_condition}, selected_fields)
                 .limit(24)
                 .exec();

query.then(function(docs){
    var json = {};
    docs.sort(function(a, b) {
        return new Date(a.datetime) - new Date(b.datetime);
    });
    json.data = docs;
    console.timeEnd('find')
    res.json(json);
});

然后对于 Mongoose 排序,请求需要 8000 - 10000 MS。 而使用本机排序,请求只需 15 MS

你能告诉我为什么原生排序比猫鼬排序更好吗?或者我的 Mongoose 查询做错了什么?

【问题讨论】:

  • 基于时间上的巨大差异,一定是先排序再过滤,而你的查询是对较小的过滤数据集进行排序,只是猜测
  • 你可以做一个测试,切换排序的顺序和限制(先排序,然后限制)如果持续时间保持不变,你知道它在排序之前限制。

标签: javascript node.js mongodb sorting mongoose


【解决方案1】:

正如@JuanMendes在评论中所说,第一个是sort,然后是应用limit,这意味着MongoDB对所有数十亿个文档进行排序并返回24个文档。在第二个中,您仅从 MongoDB 获得 24 个文档,并使用 javascript 的排序对它们进行排序。所以区别不在于原生 javascript 排序和 MongoDB 排序。 24个文档排序和数十亿文档排序的区别

sortlimit 的顺序无关紧要。 MongoDB 总是在应用 limit 之前执行 sort。见this

【讨论】:

  • 好的,这是正常行为。但是 10000 MS 来排序它真的很慢。我认为比 MongoDB 获得了更好的性能。我的日期时间字段上有一个索引
  • 您是在 datetime 上拥有单个索引还是复合索引的一部分?
  • datetime : {type: Date, index: true},
  • 对不起,我对细节有点模糊。您希望结果按升序而不是降序排序。所以你做了你必须做的。索引在文档进入数据库时​​或在创建索引时对文档进行排序。他们不会在您查询时进行排序。因此,sort and returnjust return 两者都应该花费相同的时间。您能否确保在该字段上创建的索引和索引已经完成,并且在查询时没有发生后台索引?
  • 两者都可能给你不同的结果。它们不等价
猜你喜欢
  • 2014-01-06
  • 1970-01-01
  • 2017-03-18
  • 1970-01-01
  • 2016-02-18
  • 2021-06-19
  • 2021-12-09
  • 2016-09-08
  • 2015-06-25
相关资源
最近更新 更多