为什么 YARN 进行简单的计数操作会占用大量内存？

【问题标题】：Why does YARN takes a lot of memory for a simple count operation?为什么 YARN 进行简单的计数操作会占用大量内存？
【发布时间】：2015-06-03 17:25:11
【问题描述】：

我有一个标准配置的 HDP 2.2 环境，其中包含 Hive、HBase 和 YARN。

我使用 Hive (/w HBase) 对大约 1000 万行的表执行简单的计数操作，结果导致 YARN 消耗了 10gb 的内存。

如何减少这种内存消耗？为什么只计算行数就需要这么多内存？

【问题讨论】：

【解决方案1】：

一个简单的计数操作涉及后端的 map reduce 作业。在您的情况下，这涉及 1000 万行。查看here 以获得更好的解释。好吧，这只是针对在后台和执行时发生的事情，而不是您关于内存要求的问题。至少，它会让您提前了解要寻找的地方。 This 也几乎没有加快速度的解决方案。快乐编码

【讨论】：