如何设置hadoop集群优先级？

Question

我开始学习 Hadoop。我有一个 hadoop 服务器，它与 3 个集群节点连接。如果我运行 MapReduce 作业，它运行良好。我需要为这些集群设置优先级。

例如

node1、node2、node3 是我的集群，它与我的 hadoop 服务器连接。在这里，如果我运行 MR 作业，它将每次都像上述优先级一样拆分和分配作业。有可能吗？

因为集群节点有不同的内存容量。所以我需要设置高内存节点将首先处理作业。

Answer 1

不可能根据容量对某些服务器进行“加权”。但是，每个服务器都可以有一个配置来匹配它的内存、处理器数量等。

例如，如果一个服务器有 16 个核心，另一个有 8 个核心，您可以将第一个服务器配置为同时运行 12 个任务，而第二个服务器只运行 6 个。与内存相同的想法。