带节点标签的 hive llap答案

【问题标题】：hive llap with node label带节点标签的 hive llap
【发布时间】：2020-03-07 16:28:13
【问题描述】：

我有一个 hortonworks 3.1 集群。最初，我有 6 个数据节点，3 个主节点，这 6 个数据节点都有 96gb 的内存。我能够很好地启动 3 个 llap 节点。现在我有 3 个新节点，256gb 内存，我现在想将它们用于 llap 节点。

我为 3 个新节点添加了一个节点标签“llap”。然后我为 llap 队列分配了相同的标签。（所有其他节点都是默认标签）

由于某种原因，当我启动 llap 时，我收到以下错误：失败：org.apache.hadoop.yarn.exceptions.YarnException：组件llap：指定的内存大小（224256）大于配置的最大容器内存大小（94208）

我已经尝试了所有我能想到的方法，但 llap 似乎想在旧节点上启动，而不是新节点...

我已经用谷歌搜索了我的生活，但我一直在 cloudera / hortonworks 中找到相同的参考，我一遍又一遍地搞砸了......任何帮助将不胜感激！

【问题讨论】：

【解决方案1】：

您的错误是由于 YARN 的配置参数决定了最大容器大小：

在您的情况下，您尝试分配给单个容器 224256MB，yarn.scheduler.maximum-allocation-mb 的配置为 94208MB。

有一篇非常好的文章详细介绍了如何设置 LLAP 配置：

【讨论】：

我已经准备好那篇文章了。我的问题是我有几个节点的内存比其他节点多（例如，我的数据节点有 96gb，我的 llap 节点有 256gb）所以我希望所有 llap 服务都在适当的节点上运行。这是我在 cloudera 网站 link 上的另一个参考