【问题标题】:generate an input file for each map task为每个地图任务生成一个输入文件
【发布时间】:2012-07-17 12:43:23
【问题描述】:

我是 hadoop 新手,遇到以下问题。我想控制映射器的数量,我发现最简单的方法是欺骗 hadoop 为每个映射任务生成一个输入文件,就像在 pi estimator 示例中一样。所以我使用了以下代码:

    for(int i=0; i < nMaps; ++i) {
    final Path file = new Path(inDir, "part"+i);
    fs.create(file);
    fs.close();
    }

并且在编译时 fs.create 行中有一个错误。有谁知道出了什么问题以及如何解决?谢谢

【问题讨论】:

  • 作业配置中可以设置地图任务的数量。
  • 作业配置中的地图任务数只是一个提示,不用于作业的地图任务数。默认情况下,map 任务的数量等于输入拆分的数量。

标签: java eclipse hadoop mapreduce


【解决方案1】:

您应该捕获(或重新抛出)IOException 可能从 createclose 抛出。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-03-26
    • 2018-07-11
    • 1970-01-01
    • 2022-01-14
    • 1970-01-01
    相关资源
    最近更新 更多