带有模拟上下文的 Hadoop 单元测试

Question

我正在尝试为 hadoop 作业编写单元测试。问题是映射器使用传递给它的 Context 参数来确定此时它正在读取哪个文件。它发出以下调用：

String inputFile = ((FileSplit) context.getInputSplit()).getPath().toString();

但是，在使用 MRUnit 为映射器编写单元测试时，我似乎找不到任何方法来模拟这个 Context 对象。甚至 MapDriver 似乎也没有任何设置新 Context 对象的选项。有没有办法为这个映射器类编写单元测试？

Answer 1

MockInputSplit 是您所需要的： http://mrunit.apache.org/documentation/javadocs/0.9.0-incubating/org/apache/hadoop/mrunit/mock/MockInputSplit.html