【发布时间】:2012-07-17 12:43:23
【问题描述】:
我是 hadoop 新手,遇到以下问题。我想控制映射器的数量,我发现最简单的方法是欺骗 hadoop 为每个映射任务生成一个输入文件,就像在 pi estimator 示例中一样。所以我使用了以下代码:
for(int i=0; i < nMaps; ++i) {
final Path file = new Path(inDir, "part"+i);
fs.create(file);
fs.close();
}
并且在编译时 fs.create 行中有一个错误。有谁知道出了什么问题以及如何解决?谢谢
【问题讨论】:
-
作业配置中可以设置地图任务的数量。
-
作业配置中的地图任务数只是一个提示,不用于作业的地图任务数。默认情况下,map 任务的数量等于输入拆分的数量。
标签: java eclipse hadoop mapreduce