【问题标题】:Does HBase MapReduce support a combiner stage? And if so, how?HBase MapReduce 是否支持组合器阶段?如果是这样,怎么办?
【发布时间】:2011-02-02 10:01:10
【问题描述】:

Hadoop map reduce 支持组合器阶段。但是,我在 HBase MapReduce 包中找不到类似的功能。存在吗?

【问题讨论】:

    标签: mapreduce hbase combiners


    【解决方案1】:

    如果您使用 HBase 作为输入格式和非 hbase 输出格式运行 MapReduce 作业,则它们是相同的。

    combiner 是一个 reducer,它只对单个 mapper 的输出进行操作。只要你只在你的 reducer 中做幂等的事情,你就可以通过简单地说:job.setCombiner(.class);

    【讨论】:

      【解决方案2】:

      你可以使用 job.setCombiner(.class);在 map reduce 中使用组合器类的方法。 Reducer 也将充当组合器

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2013-10-16
        • 1970-01-01
        • 2014-05-09
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多