从 Java API 获取 mapreduce 作业结果，无需在 HDFS 上永久存储

Question

我需要的任务看起来很常见，但我找不到“即用型”解决方案。

• 我有一些 Hadoop MapReduce 作业，它以一组文件的形式生成结果。
• 如果它很重要，它有几个映射器，没有减速器，但我希望解决所有阶段的一般情况。
• 我想收集作业结果并在作业执行后立即使用。
• 但我不喜欢像使用 FileOutputFormat 一样将作业结果永久存储在 HDFS 上，所以看起来临时作业存储是我的选择。

这种情况有什么常用的方法吗？

Answer 1

某种工作的解决方案之一恰好是计数器。它远非通用，但对于一些简单的情况，它可以提供很大帮助：

• An Example of Hadoop MapReduce Counter.
• Hadoop definitive guide, counters.