是否可以从 Hadoop 中的同一个减速器写入 HBase 和多个文件

Question

我们需要能够将 map/reduce 的输出写入多个文件（已经工作）以及 HBase 表。这可能吗？我一直在研究 MultipleOutputs 选项，但我不知道该怎么做，或者它是否可行。我对 haddop 非常陌生。 如果有人知道网络上的任何示例，请您指出正确的方向吗？ 谢谢。

Answer 1

我个人没有尝试过，但MultipleOutputs 的 API 确实支持它。因为您为每个命名输出独立配置输出键/值类，所以您可以有一个（或多个）*FileOutputFormat，一个用于TableOutputFormat。