M/R 程序中的几个 map 和 reduce 函数

Question

我有一个问题。我们可以在 cassandra mapreduce 程序中有几个 map 和 reduce 函数吗？例如 map1 读取数据并 reduce1 通过键对它们进行分组。 map2 计算平均值，map3 Math.pow 计算结果，最后 reduce 函数写入输出？或类似的东西..？

Answer 1

是的，“连锁作业”是常见的做法。您基本上所做的就是将第一个 mapreduce 作业写入 HDFS，然后第二个 mapreduce 作业读取第一个作业的输出作为其输入。

这个tutorial is a useful start。

---

不回答你的问题，但是....

计算reducer 1中的平均值。计算平均值后，你也可以在reducer 1中做Math.pow吗？都是java代码，所以把计算写在reduce函数里。

另外注意，你不需要减速器来输出。 Mappers 也可以输出数据，只需将 reducer 的数量设置为 0。