【发布时间】:2012-11-12 18:46:49
【问题描述】:
是否可以在 map 阶段完成后停止 hadoop 并收集有关中间数据(map 输出/reducer 输入)的信息?
【问题讨论】:
-
通过设置job.
setNumReduceTasks(0)你可以在map阶段之后完成工作。此外,看看这个类似的答案如何保留中间数据:stackoverflow.com/questions/7867608/… -
如果您使用流式传输,请使用 -D mapred.reduce.tasks=0 作为配置变量
标签: map hadoop mapreduce reduce