【问题标题】:How To Increase The Number of Parallel Running Map Tasks in MR or Hive CDH如何增加 MR 或 Hive CDH 中并行运行的 Map 任务数
【发布时间】:2017-07-15 16:40:40
【问题描述】:

MR 作业使用 128 个映射器启动,但只有 7 个并行运行。如何增加并行运行的map任务数量?

谢谢

【问题讨论】:

    标签: hadoop hive mapreduce cloudera cloudera-cdh


    【解决方案1】:

    mapreduce.tasktracker.map.tasks.maximum 这将设置可以在 tasktracker 级别同时运行的最大地图任务数。

    要在作业级别设置,您可以使用mapreduce.job.running.map.limit

    【讨论】:

    • 你提到的参数是为了防止达到最大限制,我需要一些东西来增加限制。
    猜你喜欢
    • 1970-01-01
    • 2015-08-23
    • 2013-05-02
    • 1970-01-01
    • 1970-01-01
    • 2023-03-29
    • 1970-01-01
    • 1970-01-01
    • 2010-11-03
    相关资源
    最近更新 更多