Map Reduce算法设计（首选mongodb）

Question

我对 map reduce 设计很陌生。我使用 mongodb 作为后端和 map reduce 引擎。

在一个简单的数据集上：

day, value

如果值为 -1、0 或 1，我想为每一行添加持续时间，其中持续时间是值等于 1 或 -1 的连续天数。

示例输入数据集：

       day| value
2012-01-01|  1
2012-01-02|  1
2012-01-03|  1
2012-01-04| -1
2012-01-05| -1
2012-01-06|  0
2012-01-07|  1
2012-01-08|  1

输出应该是：

       day| value | Duration
2012-01-01|  1    | 0
2012-01-02|  1    | 1
2012-01-03|  1    | 2
2012-01-04| -1    | 0
2012-01-05| -1    |-1
2012-01-06|  0    | 0
2012-01-07|  1    | 0
2012-01-08|  1    | 1

这在 map reduce 作业中可行吗？

Answer 1

如果我错了，请有人纠正我，但这对于 MapReduce 来说似乎不可行。我不确定 MongoDB 如何处理其映射器的输入分区，但如果我没记错的话，MapReduce 无法执行依赖于先前了解一个映射器块之外的数据的任务。

MR 可以在某个块内完成这项工作。假设天 01/01 到 01/02 被发送到一个映射器（来自您的示例）。当然，您可以让它意识到这两天连续具有相同的值。

但是，如果另一个映射器从 01/03 到 01/04 获取日期怎么办？这个映射器不会知道它之前的第 1 天和第 2 天的值与第 3 天的值相同，因此它只会输出其持续时间为 0。就我而言，无法从不同的映射器获取数据可以看到。

直接使用 Java 编码可能会更好。