【发布时间】:2011-02-02 10:01:10
【问题描述】:
Hadoop map reduce 支持组合器阶段。但是,我在 HBase MapReduce 包中找不到类似的功能。存在吗?
【问题讨论】:
Hadoop map reduce 支持组合器阶段。但是,我在 HBase MapReduce 包中找不到类似的功能。存在吗?
【问题讨论】:
如果您使用 HBase 作为输入格式和非 hbase 输出格式运行 MapReduce 作业,则它们是相同的。
combiner 是一个 reducer,它只对单个 mapper 的输出进行操作。只要你只在你的 reducer 中做幂等的事情,你就可以通过简单地说:job.setCombiner(.class);
【讨论】:
你可以使用 job.setCombiner(.class);在 map reduce 中使用组合器类的方法。 Reducer 也将充当组合器
【讨论】: