如何在hadoop配置中为datanode分配内存答案

【问题标题】：How to allocate memory to datanode in hadoop configuration如何在hadoop配置中为datanode分配内存
【发布时间】：2023-03-09 23:04:01
【问题描述】：

我们有以下要求。

我们总共有 5 台服务器将用于构建 Bigdata Hadoop 数据仓库系统（我们不会使用 cloudera、hortonworks 等任何发行版）。

所有服务器配置均为 512GB RAM、30TB 存储和 16 核，Ubuntu Linux 14.04LTS 服务器

我们会在所有服务器上安装 hadoop。 Server3、4、5 将完全将它们用于 datanode（从机），而 server1 将具有 Active Namenode 和 Datanode。 Server2 将有备用 Namenode 和 datanode。

我们想在配置 hadoop 时为 Namenode 配置 300GB RAM，为 datanode 配置 212GB RAM。

谁能帮助我如何做到这一点。 hadoop中的哪个配置文件需要修改。我们需要在hadoop配置文件中配置哪些参数。

感谢和问候，苏雷什·皮查皮莱

【问题讨论】：

【解决方案1】：

您可以从 cloudera manager（如果您使用 CDH）或 Ambari（如果您使用 Hortonworks）中设置这些属性。

此外，Namenode 不需要 300GB，因为 namenode 只存储元数据。粗略地说 1GB 的 namenode 堆可以存储 100 万块的元数据（块大小 = 128MB）。更多细节在这里：https://issues.apache.org/jira/browse/HADOOP-1687

【讨论】：

【解决方案2】：

假设您要使用 Yarn 的最新 hadoop 发行版。

阅读这篇文章 - Reference。对每一个参数都做了详细的讲解，讲解的很棒。

还有一篇来自Hortenworks 的文章，虽然它适用于所有基于 apache 的 hadoop 发行版。

最后把这个放在手边 - Yarn-configuration。这是不言自明的。

【讨论】：