【发布时间】:2011-10-31 18:43:24
【问题描述】:
是否可以仅在 map/reduce 作业中重新启动 reduce 作业?我的猜测是“不”,但只是想看看是否有人对此有其他想法。
【问题讨论】:
-
如果只有reduce任务失败,而map任务需要很长时间才能完成
-
如果reduce 任务失败,Hadoop 框架将重新启动reduce 任务。如果 map 任务花费了太多时间,那么可以减小 InputSplit 的大小,可以为任务分配更多资源 - 有几种方法可以缓解长时间运行的任务。
标签: hadoop mapreduce hadoop-streaming