在 mongo 中收集地图后执行聚合

Question

我希望在将 mongo db 中的一些记录传递给聚合函数之前对其进行操作。特别是，在对这些属性进行求和之前，我需要对集​​合的一些属性进行求和。

属性的总和最初不能在聚合查询中完成，因为属性名称在原始集合中有所不同。例如，我从以下内容开始：

{ timestamp: 1346774400000, foo3: 12, foo45: 13, foo9: 2 }, 
{ timestamp: 1346796000000, foo7: 33, foo2: 5 }

我需要修改每个文档以汇总以“foo”开头的每个属性的值，然后汇总集合中每个文档的所有这些值。

我为此编写了一个地图操作，它会产生如下内容：

{ timestamp: 1346774400000, foo_total: 27 }, 
{ timestamp: 1346796000000, foo_total: 38 } 

...但我无法对 db.collection.map() 的输出执行聚合函数。

有什么方法可以做到这一点，或者有更好的方法吗？我无法更改文档的现有结构，并且我想避免执行 map reduce 操作，并且我不想将此操作卸载到代码中。

Answer 1

如上所述，文档中不同键值的问题是聚合不能专门处理这些，至少在不知道所有可能的值并编写很长的语句的情况下。

当然，您目前的方法是在检索集合结果后对其进行处理，实际上并不会产生集合本身，因此无法将其传递给聚合。

所以最好的方法是将整个事情传递给 mapReduce，而且逻辑相当简单。首先是一个映射器：

var mapper = function () {

  var patt = /^([a-z|A-Z]+)/;

  var total = {};

  for ( n in this ) {

      if ( (n == "timestamp") || n == "_id" )
        continue;

      var match = patt.exec(n)[0];
      if (!total.hasOwnProperty(match))
        total[match] = 0;

      total[match] += this[n];

  }

  emit( null, total );

};

非常简单，这只是要“询问”字段名称，同时排除您知道不需要的任何字段名称。在这种情况下，使用正则表达式匹配字段名称中的第一个“字母”字符。我允许字段可能是“foo16”、“bar32”、“baz12”，而这些对操作都没有影响。无论如何，有一些方法可以去除你想要的字段部分。

这些值在每个文档内部添加并发送到缩减器，因为只有一个“键”，即null。

所以在reducer中：

var reducer = function (key,values) {

  var reduced = {};

  values.forEach(function(value) {
    for ( var n in value ) {
      if ( !reduced.hasOwnProperty(n) )
        reduced[n] = 0;

      reduced[n] += value[n];
    }
  });

  return reduced;

};

这类似地循环每个发出的文档，并对找到的每个“字段”的结果求和以产生结果：

{
    "results" : [
            {
                    "_id" : null,
                    "value" : {
                            "foo" : 65
                    }
            }
    ],
    "timeMillis" : 7,
    "counts" : {
            "input" : 2,
            "emit" : 2,
            "reduce" : 1,
            "output" : 1
    },
    "ok" : 1,
}

仅基于您拥有的示例文档。