hadoop map溢出大小和块大小

【问题标题】：hadoop map spill size and block sizehadoop map溢出大小和块大小
【发布时间】：2016-05-17 04:37:00
【问题描述】：

我只是好奇为什么当块大小为 128 MB 时，io.sort.mb 的 hadoop 映射溢出大小为 100 MB（默认）。将其设置为等于块大小是否更有意义，因为映射任务无论如何都要处理那么多数据？当然，我知道在这里分配更多 RAM 可能会出现问题，但还有什么要解决的吗？

【问题讨论】：

标签： hadoop

【解决方案1】：

io.sort.mb 是对内存中的文件进行排序所需的缓冲内存总量。作为一个理想的经验法则，它应始终设置为不超过总 RAM 的 70%。块大小基本上是关于在磁盘中设置文件块大小。您可以很好地将输入拆分与 HDFS 块大小相关联。

看看这篇文章以获得更好的想法

【讨论】：