当 Map 操作发送非键值作为 MapReduce 中的输出时，Reducer 会发生什么

【问题标题】：what happen to Reducer while Map operation sends non key value as an output in MapReduce当 Map 操作发送非键值作为 MapReduce 中的输出时，Reducer 会发生什么
【发布时间】：2013-11-13 23:08:28
【问题描述】：

Map 操作一般将输入作为键值对。它将返回与输出相同的键和值对。如果 map 将返回非键值对输出，那么 Reducer 将如何处理该输出。

请任何人对此提供帮助，我们将不胜感激

【问题讨论】：

什么是“非键值对输出”？
你说的是它们的类型还是它们的实际值？
如果 Mapper 没有输出任何值，你是在问 Reducer 会发生什么吗？

标签： hadoop

【解决方案1】：

我不确定 Java MapReduce，但在 Hadoop Streaming 中，如果映射器不产生任何输出，reducers 将不会运行。

您可以通过创建 2 个小的 python 脚本来测试它：

一个只使用输入而不产生任何东西的映射器

#!/usr/bin/python
input()

一启动就崩溃的reducer

#!/usr/bin/python
sys.exit("some error message")

如果您启动它，MapReduce 作业将完成且没有任何错误

【讨论】：