一个 mapper 或 reducer 来处理一个文件或目录

Question

我是 Hadoop 和 MapReduce 的新手。我在其中有一些目录和文件（每个文件 10 MB 大，N 可能是 100。文件可能已压缩或未压缩），例如： 我的目录 1/文件 1 我的目录 1/文件 2 ... MyDir1/文件N

MyDir2/file1 我的目录2/文件2 ... MyDir3/文件N

我想设计一个 MapReduce 应用程序，其中一个映射器或减速器将处理整个 MyDir1，即我不希望 MyDir1 被拆分到多个映射器中。同样，我希望 MyDir2 完全由其他映射器/减速器处理而不会拆分。

知道如何解决这个问题吗？我需要编写自己的 InputFormat 并读取输入文件吗？

Answer 1

实现FileInputFormat#isSplitable()。然后输入文件不拆分，每个地图处理一个。请注意，尽管映射器并行执行，但完成作业的时间取决于处理最大输入文件的时间。此外，这可能效率不高，因为节点间会有大量数据混洗。

import org.apache.hadoop.fs.*;
import org.apache.hadoop.mapred.TextInputFormat;
public class NonSplittableTextInputFormat extends TextInputFormat {
    @Override
    protected boolean isSplitable(FileSystem fs, Path file) {
        return false;
    }
}

当前的 API 不允许单个映射器处理整个目录。您可能需要编写自己的InputFormat。或者创建一个要处理的目录列表并将单个目录传递给每个要处理的映射器，这同样不是有效的，因为节点之间的数据混洗。

回到 reducer，它们对映射器的输出 KV 对而不是输入文件/目录进行操作。