来自 CouchDB 的特殊 Map/Reduce 结果

Question

我使用 CouchDB 已经有一段时间了，没有任何问题。直到现在。我最近在我的 map/reduce 结果中看到了一些我忽略的东西！

这是在对“avgs”变量执行sum 之前。我基本上是在尝试找到与特定键有关的所有值的平均值。没有什么花哨。结果符合预期。

注意时间戳 1308474660000（表中的第 4 行）的结果：

---

现在我 sum "avgs" 数组。现在这里有一些关于结果的特殊之处。时间戳为 1308474660000 的键的总和是 null！！为什么 CouchDB 为一个简单的sum 吐出nulls？我尝试了自定义添加功能，但问题相同。

有人可以向我解释为什么我的 map/reduce 结果存在这个问题吗？

CouchDB 版本：1.0.1

---

更新：

在执行 rereduce 后，我得到一个 reduce 溢出错误！

Error: reduce_overflow_error

Reduce output must shrink more rapidly: Current output: '["001,1,1,1,1,1,11,1,1,1,1,1,1,11,1,1,1,1,1,1,11,1,1,1,1,1,1,11,1,1,1,1,1,101,1,1,1,1,1,1,11,1,1,1,1'... (first 100 of 396 bytes)

这是我修改后的reduce函数：

function (key, values, rereduce) {
  if(!rereduce) {
    var avgs = [];
    for(var i=values.length-1; i>=0 ; i--) {
      avgs.push(Number(values[i][0])/Number(values[i][1]));
    }
    return avgs;
  } else {
    return sum(values);
  };
}

---

更新 2：

现在情况变得更糟了。其选择性地减少。此外，它减少的那些显示错误的结果。时间戳 (1308474660000) 的第 4 行值的长度应为 2 而不是 3。

更新 3：

我终于让它工作了。我没有正确理解 rereduce 的细节。 AFAIK，Couchdb 本身决定如何/何时重新减少。在这个例子中，只要数组足够长可以处理，Couchdb 就会将它发送到 rereduce。所以我基本上不得不sum 两次。一次在reduce中，再次在rereduce中。

function (key, values, rereduce) {
  if(!rereduce) {
    var avgs = [];
    for(var i=values.length-1; i>=0 ; i--) {
      avgs.push(Number(values[i][0])/Number(values[i][1]));
    }
    return sum(avgs);
  } else {
    return sum(values); //If my understanding of rereduce is correct, it only receives only the avgs that are large enough to not be processed by reduce.
  }
}

Answer 1

reduce 函数中的for 循环可能没有按照您的想法进行。例如，它可能会抛出一个你没有预料到的异常。

您期望一个 2 元组数组：

// Expectation
values = [ [value1, total1]
         , [value2, total2]
         , [value3, total3]
         ];

在re-reduce期间，函数会从自己之前获取旧的结果。

// Re-reduce values
values = [ avg1
         , avg2
         , avg3
         ]

因此，我将首先检查您的代码在rereduce 为真时的工作方式。也许一些简单的事情可以解决它（虽然我经常要log() 事情直到我发现问题。）

function(keys, values, rereduce) {
  if(rereduce)
     return sum(values);

  // ... then the same code as before.
}

Answer 2

我会详细说明我的计数/总和评论，以防你好奇。

此代码未经测试，但希望您能理解。最终结果始终是一个简单的对象{"count":C, "sum":S}，您可以通过计算S / C 知道平均值。

function (key, values, rereduce) {
  // Reduce function
  var count = 0;
  var sum = 0;
  var i;

  if(!rereduce) {
    // `values` stores actual map output
    for(i = 0; i < values.length; i++) {
      count += Number(values[i][1]);
      sum += Number(values[i][0]);
    }

    return {"count":count, "sum":sum};
  }

  else {
    // `values` stores count/sum objects returned previously.
    for(i = 0; i < values.length; i++) {
      count += values[i].count;
      sum   += values[i].sum;
    }

    return {"count":count, "sum":sum};
  }
}

Answer 3

我使用以下代码进行平均。希望对您有所帮助。

function (key, values) {
    return sum(values)/values.length;    
}