何时将输出文件的数据写入 map reduce 架构中？如何在 reducer 中使用已处理的 reducer 输出数据？

【问题标题】：when does data to output file is written in a map reduce architecture?How can i use processed reducer output data in reducer?何时将输出文件的数据写入 map reduce 架构中？如何在 reducer 中使用已处理的 reducer 输出数据？
【发布时间】：2012-05-06 06:37:01
【问题描述】：

我使用的是hadoop版本：1.0.0

处理每个减速器输入键后，我正在收集输出。但它没有写入实际的输出文件。我正在尝试使用处理后的中间输出来处理进一步的输入键。我该怎么做？

您能否建议我如何使用该中间数据。mapreduce 何时将数据写入输出文件？

【问题讨论】：

标签： hadoop mapreduce

【解决方案1】：

您提出的问题与 MR 范式相反。并且，任何偏离这一概念的行为都会产生后果。
从技术上讲，数据被传递给 OutputFormat，他可以自行决定将其推送到输出。我认为它是在工作期间写的，但是您可能会有些延迟才能看到它。
我认为您可以更轻松地在 reducer 中随意累积处理过的数据并使用它，尽管此解决方案存在固有问题。如果有足够的键，您可能会面临内存不足。
我建议使用两个 MR 作业或其他一些技术来使 reducer 无状态或至少限制它可以积累的数据量。

【讨论】：