我们的系统有一个由 5 台主机组成的集群（例如，数据节点或计算机从机……）。现在，我想为这些主机分配不同数量的减速器，因为 1 台主机很慢。 .我们正在使用 Hadoop Yarn。资源管理器（MapReduce1 中所谓的作业跟踪器）总是将平均数量的 reducer 分配给 5 个主机。无论如何，我可以限制特定主机的减速器数量吗？例如，我想要的是一个有 40 个减速器的工作，4 台快速计算机有 36 个减速器（例如，每台主机有 9 个减速器），慢速计算机只有 4 个减速器。
【问题讨论】：
标签： hadoop load-balancing hadoop-yarn reducers
在 hadoop 集群中拥有异构系统是完全可能的，也是一种普遍现象。通常，随着集群不断变大并因此水平扩展，不同配置的新节点会添加到集群中。
在这种情况下，为了使配置适用于特定节点或一组节点，我们需要在这些主机上相应地修改配置。
例如，对于通过 Ambari 管理集群的 Hortonworks Data Platform，可以为此目的利用主机配置组的概念。
请查看以下链接了解更多信息：
另请参阅下面的链接，其中讨论的是在节点级别增加 YARN 容器的数量。在您的情况下它也保持不变，这与那里讨论的用例相反：
How to increase the number of containers in nodemanager in YARN
另一个有用的链接：
http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
【讨论】：