【发布时间】：2017-07-19 09:46:58
【问题描述】：
是否建议在集群的所有机器上使用相同的资源（CPU 和 RAM）？
【问题讨论】：
标签： hadoop hadoop-yarn administration
【发布时间】：2017-07-19 09:46:58
【问题描述】：
您的集群的基础架构配置将由您为其构建集群的业务案例决定，这反过来又会转化为集群为实现业务成果而需要满足的数据处理要求。一般来说，hadoop 系统最初的设计理念是在集群中存在具有异构配置的机器。 （现在服务器供应商的机器针对 hadoop 工作负载进行了优化，主服务器和从服务器之间存在一些磁盘大小可变性）。
为了具体解决您的问题，我在一些站点上看到集群最多有 50 个节点，主节点和从节点的配置完全相同（我认为这有点过头了）。安静的架构设计决策并不总是决定采购决策。
以下来自 3 个主要 Hadoop 分发提供商的链接将是了解更多关于集群设计和应用站点特定参数（即数据处理需求、数据增长、数据保留、复制..等）的良好起点：
霍顿工厂：
https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.5/bk_cluster-planning/bk_cluster-planning.pdf
Cloudera：
https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/
地图：
【讨论】：
-
感谢@Kfactor21 的有趣回答。我们在 Yarn 上处理作业时遇到了一些问题（有时，作业会停止 Yarn 上应用程序的所有排除），我们认为这是由于某些节点与其他节点的资源差异造成的。另外我们在同一台机器上使用了 RM 和 NM，你认为这可能是这个问题的原因吗，因为相关的作业都在这个节点上运行？
-
嗨@AymanAnikad，我建议您针对您面临的问题提出一个新问题。您有更好的机会从社区获得帮助。如果没有有关您的集群的信息，很难说出问题可能是什么。请在您的问题中至少提供以下信息：环境详细信息（Hadoop 分布、基础设施详细信息（MasterNodes/Datanodes 和各自的 CPU/RAM/DISK 详细信息）/YARN 内存配置、容器大小、名称节点堆大小）、HDFS 块大小。来自资源管理器的作业日志、YARN 日志、至少围绕错误的部分。
-
没关系。我去做。谢谢你的推荐:)