【问题标题】:How to reassign task into Hadoop?如何将任务重新分配到 Hadoop?
【发布时间】:2019-05-04 13:09:11
【问题描述】:

和 Hadoop 一样,如果一个任务失败,它会分配给另一个节点,如何将任务重新分配给另一个节点? 当任务分配给特定节点(我想要的节点,例如节点 1)时,我想进入 MapReduce 程序,这个任务将被重新分配(例如节点 2)。如何完成这项工作?有想法吗?

(我使用的是 Hadoop 2.9.0)

【问题讨论】:

    标签: java hadoop task variable-assignment


    【解决方案1】:

    如果您使用节点标签,则只能将任务分配给另一个节点或一组节点。 Hadoop 设计为在许多节点上运行(对于大多数用户而言,例如 20 到 500 个节点),因此您的用例不会被正常操作覆盖。如果你真的想追求这个,你有两个选择:

    • 使用容量调度和节点标签
    • 编写自定义 Application Master,以便您可以控制要将容器启动到哪些节点管理器。

    参考文献

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-10-29
      • 2017-12-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多