MapReduce 文件名作为键，内容作为值，许多小文件

Question

我查看了FileInputFormat where filename is KEY and text contents are VALUE、How to get Filename/File Contents as key/value input for MAP when running a Hadoop MapReduce Job? 和Getting Filename/FileData as key/value input for Map when running a Hadoop MapReduce Job，但我在起步时遇到了麻烦。以前没有用 Hadoop 做过任何事情，如果其他人可以看到我犯了错误，我很担心会走上错误的道路。

我有一个目录，其中包含大约 10 万个包含 HTML 的小文件，我想使用 Java 实现的 Amazon Elastic MapReduce 创建倒排索引。一旦我有了文件内容，我就知道我想要我的 map 和 reduce 函数做什么。

看了here后，我的理解是我需要继承FileInputFormat并覆盖isSplitable。但是，我的文件名与 HTML 来自的 URL 有关，所以我想保留它们。我只需要用 Text 替换 NullWritable 吗？还有其他建议吗？

Answer 1

您应该使用 WholeFileInputFormat 将整个文件传递给您的映射器

conf.setInputFormat(WholeFileInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf,new Path("input"));
FileOutputFormat.setOutputPath(conf,new Path("output"));