【问题标题】:Stopping hadoop after the map phase在映射阶段后停止 hadoop
【发布时间】:2012-11-12 18:46:49
【问题描述】:

是否可以在 map 阶段完成后停止 hadoop 并收集有关中间数据(map 输出/reducer 输入)的信息?

【问题讨论】:

  • 通过设置job.setNumReduceTasks(0)你可以在map阶段之后完成工作。此外,看看这个类似的答案如何保留中间数据:stackoverflow.com/questions/7867608/…
  • 如果您使用流式传输,请使用 -D mapred.reduce.tasks=0 作为配置变量

标签: map hadoop mapreduce reduce


【解决方案1】:

您可以指定“-reducer NONE”,Hadoop 作业的输出将是映射的输出。更多信息在这里:Amazon MapReduce no reducer job

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-04-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-09-19
    • 1970-01-01
    相关资源
    最近更新 更多