在使用 TableMapReduceUtil 和 MultipleOutputFormat 时在 Job 和 JobConf 之间挣扎答案

【问题标题】：Struggling between Job and JobConf while using TableMapReduceUtil and MultipleOutputFormat在使用 TableMapReduceUtil 和 MultipleOutputFormat 时在 Job 和 JobConf 之间挣扎
【发布时间】：2012-01-15 15:46:27
【问题描述】：

我正在尝试读取 HBase 表 TableMapReduceUtil 并将数据转储到 HDFS（不要问我为什么。这很奇怪，但没有其他选择）。因此，为了实现这一点，我想通过 reducer 键来操作最终文件名（由 reducer 发出）。

在映射器方面，我能够以默认顺序将 hbase rotryingws 转储到 HDFS。但是要覆盖减速器输出文件格式（按键命名），我发现减速器的 MultipleOutputFormat 类（由于某些接口混乱，在 0.20 上不存在，请在某处读取），而旧的只需要工作会议。但是如果我尝试用旧的 JobConf 编写代码，我将无法使用 HBase 0.90 的 TableMapReduceUtil，它只需要 Job 类

对 Hadoop/HBase 没有太多经验。花了一些时间修改现有的 MRJOb。看来我坚持我的方法。

版本 Hadoop-Core-0.20.;HBase 0.90.1

谢谢潘卡伊

【问题讨论】：

标签： java hadoop mapreduce

【解决方案1】：

我无法使用 HBase 0.90 的 TableMapReduceUtil，它只需要 Job 类。

有 org.apache.hadoop.hbase.mapred.TableMapReduceUtil 和 org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil 类。第一个将采用 JobConf（旧 MR API），第二个将采用 Job（新 MR API）。使用适当的 TableMapReduceUtil 类。

【讨论】：