【发布时间】：2018-01-24 13:58:33
【问题描述】：
我对多个文件进行了多次测试。 （最大文件为 83.7 MB）
我知道网络会带来一些开销，但我期待更好的结果，因为我认为使用分布式系统的目的是减少响应时间。
我使用 /usr/bin/time 来衡量性能。这里有什么问题？
【问题讨论】：
标签： hadoop mapreduce distributed-computing
【发布时间】：2018-01-24 13:58:33
【问题描述】：
如果您的 mapreduce 密钥被发送到集群中的单个节点，那么与单个节点相比，您不会获得任何性能提升并且您会增加数据混洗的网络开销
如果您没有针对您的硬件调整 mapreduce YARN 容器大小，那么您会发现性能很差。
如您所提到的，如果您要存储大量小于 HDFS 块大小（128 MB，如果您保留默认值）的文件，那么您就是在浪费资源。此外，如果您正在处理单个大文件，如 ZIP 或其他“不可拆分”文件格式，则与单个映射器节点相比，您没有任何好处。
我用 /usr/bin/time 衡量性能
MapReduce 作业输出和历史服务器都可以告诉您作业及其任务实际需要多长时间
【讨论】：