【问题标题】:in Map/Reduce , could only reduce be restarted?在 Map/Reduce 中,只能重新启动 reduce 吗?
【发布时间】:2011-10-31 18:43:24
【问题描述】:

是否可以仅在 map/reduce 作业中重新启动 reduce 作业?我的猜测是“不”,但只是想看看是否有人对此有其他想法。

【问题讨论】:

  • 如果只有reduce任务失败,而map任务需要很长时间才能完成
  • 如果reduce 任务失败,Hadoop 框架将重新启动reduce 任务。如果 map 任务花费了太多时间,那么可以减小 InputSplit 的大小,可以为任务分配更多资源 - 有几种方法可以缓解长时间运行的任务。

标签: hadoop mapreduce hadoop-streaming


【解决方案1】:

减少不是一项“工作”,它是您工作中的一项任务。 一个作业由 n 个 map 任务和 m 个 reduce 任务组成。

每个任务都可以重新启动。

【讨论】:

  • 我为调用 reduce 工作道歉,我该如何重新安排 reduce 任务?
  • 你不能。发生故障后由调度程序重新启动。
【解决方案2】:

不行,你需要设置对应的映射器来运行reducer。但是您只能在映射器端运行,在这种情况下,reducer 编号将为 0。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-04-12
    • 2021-08-20
    • 2012-07-07
    • 1970-01-01
    • 1970-01-01
    • 2013-05-25
    相关资源
    最近更新 更多