【发布时间】：2016-03-19 21:37:58
【问题描述】：
我是 hadoop 新手，在本地机器上进行了一些测试。
有很多解决方案可以处理许多小文件。我正在使用 CombinedInputFormat，它扩展了 CombineFileInputFormat。
我看到使用 CombinedInputFormat 的映射器数量已从 100 变为 25。由于映射器数量减少，我是否还应该期待任何性能提升？
我对许多小文件执行了 map-reduce 作业没有 CombinedInputFormat：100 个映射器花了 10 分钟
但是当 使用 CombinedInputFormat 执行 map-reduce 作业时：25 个映射器耗时 33 分钟。
任何帮助将不胜感激。
【问题讨论】：
-
我尝试在具有三个节点集群的 aws 上执行此示例，但发现性能没有任何改善。总共有 1000 个小文件。映射器的数量从 1000 个减少到 67 个。