【问题标题】:Oozie worflow, configure mapreduce action to run only reducer/combiner on a set of filesOozie worflow,配置 mapreduce 操作以仅在一组文件上运行 reducer/combiner
【发布时间】:2014-09-09 07:09:48
【问题描述】:

我想在 oozie 工作流中为现有的 mapreduce jar(带有映射器、reducer 有时还包括组合器)文件配置一个 mapreduce 操作,这样只有 reducer/combiner 在输入文件上运行。

【问题讨论】:

    标签: hadoop mapreduce workflow oozie oozie-coordinator


    【解决方案1】:

    所有 MapReduce 作业都必须运行映射阶段,但是您可以让映射器通过以下任一方式直接传递数据:

    • 在旧的 MR API 中使用 IdentityMapper
    • 在新的 MR API 中,根本不指定映射器类,这将默认为充当身份映射器的基本 Mapper

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-02-13
      • 1970-01-01
      • 2012-04-30
      • 1970-01-01
      • 2013-12-04
      • 1970-01-01
      相关资源
      最近更新 更多