将少量值从 Mapper 传递到 Reducer

Question

如何将 Mapper 中收集的少量元数据传递给 Reducer？在我的具体问题中，我只想传递两个 long 值，因此我不会为这些值使用 MultipleOutputFormat 或 MultipleOutputs。

我尝试过的一些变体：

(1)

映射器

    context.getCounter("Countergroup", "Counter").increment(1);

减速器

    counter = context.getCounter("Countergroup", "Counter").getValue(); 

计数器不会定期更新，因此 Reducer 中的函数调用会产生 0 值。

(2)

映射器

    context.getConfiguration().setInt("Counter", countTotal);

减速器

    counter = context.getConfiguration().getInt("Counter", 0);          

在运行作业期间当然不能更改配置（值得一试）。

已经有关于这个问题的问题，但我找不到有效的答案。此外，API 也发生了变化。我正在使用 Hadoop 0.20.2。

类似的问题：

Passing values from Mapper to Reducer

Accessing a mapper's counter from a reducer （这看起来很有希望，但它似乎不适用于 0.20.2 API）

Answer 1

如果您无法使用计数器找到问题的解决方案（在特定情况下将两个长值从映射器传递到减速器），另一种方法可以利用 order inversion 模式。 p>

在此模式中，您所做的是从 map 中发出一个额外的键值对，其中键是某种东西，它成为 reducer 接收的第一个键（利用 reducer 按排序顺序接收键的事实）。例如，如果您发出的键是从 1 到 1000 的数值。您的虚拟键可能是“0”。由于 reducer 按排序顺序接收键，因此保证在处理任何其他键之前处理伪键。

您在新 API 中还具有 SetUp() 和 CloseUp() 方法（旧 API 中也有类似方法，但我不记得名称）以利用它们只执行一次的事实每个节点，在该节点上的所有 map/reduce 任务开始/完成之前/之后。