Mongodb聚合框架比map/reduce更快吗？

Question

mongodb 2.2引入的聚合框架，相比map/reduce有什么特别的性能提升吗？

如果是，为什么以及如何以及多少钱？

（我自己已经做过测试，性能差不多）

Answer 1

我亲自运行的每个测试（包括使用您自己的数据）都表明聚合框架比 map reduce 快几倍，并且通常快一个数量级。

只取您发布的数据的 1/10（但不是清除操作系统缓存，而是先预热缓存 - 因为我想测量聚合的性能，而不是需要多长时间来分页数据）我得到了这个：

MapReduce：1,058 毫秒
聚合框架：133ms

从聚合框架中删除 $match 并从 mapReduce 中删除 {query:}（因为两者都只使用索引，这不是我们想要测量的）并通过 key2 对整个数据集进行分组，我得到了：

MapReduce：18,803 毫秒
聚合框架：1,535 毫秒

这些和我之前的实验非常吻合。

Answer 2

我的基准：

== 数据生成 ==

用大约 350 个字节轻松生成 400 万行（使用 python）。 每个文档都有这些键：

• key1、key2（两个随机列用于测试索引，一个基数为 2000，一个基数为 20）
• longdata：增加每个文档大小的长字符串
• 值：一个简单的数字 (const 10) 来测试聚合

db = Connection('127.0.0.1').test # mongo connection
random.seed(1)
for _ in range(2):
    key1s = [hexlify(os.urandom(10)).decode('ascii') for _ in range(10)]
    key2s = [hexlify(os.urandom(10)).decode('ascii') for _ in range(1000)]
    baddata = 'some long date ' + '*' * 300
    for i in range(2000):
        data_list = [{
                'key1': random.choice(key1s),
                'key2': random.choice(key2s),
                'baddata': baddata,
                'value': 10,
                } for _ in range(1000)]
        for data in data_list:
            db.testtable.save(data)

mongo 中的总数据大小约为 6GB。 （在 postgres 中为 2GB）

== 测试 ==

我做了一些测试，但一个足以比较结果：

注意：每次查询后都会重新启动服务器，并清理操作系统缓存，以忽略缓存的影响。

QUERY：用key1=somevalue 聚合所有行（大约200K 行）并为每个key2 求和value

• 映射/减少 10.6 秒
• 聚合 9.7 秒
• 10.3 秒组

查询：

映射/减少：

db.testtable.mapReduce(function(){emit(this.key2, this.value);}, function(key, values){var i =0; values.forEach(function(v){i+=v;}); return i; } , {out:{inline: 1}, query: {key1: '663969462d2ec0a5fc34'} })

聚合：

db.testtable.aggregate({ $match: {key1: '663969462d2ec0a5fc34'}}, {$group: {_id: '$key2', pop: {$sum: '$value'}} })

组：

db.testtable.group({key: {key2:1}, cond: {key1: '663969462d2ec0a5fc34'}, reduce: function(obj,prev) { prev.csum += obj.value; }, initial: { csum: 0 } })