如何通过内存和 vcore 配置使 Hadoop YARN 更快？

Question

在 Hadoop YARN 上，如果我有更多的容器来运行 map 任务或 reduce 任务，处理作业会变得更快吗？

因此，如果当我使容器分配内存小于默认值时这是真的，我可以让更多容器在主机上运行，​​并使工作更快。

那么 vcore 怎么样，我的意思是如果我们有更多的容器要运行，但它会根据 vcore 分配一个一个运行，对吗？也就是说，不管容器多还是少，还是一个接一个地运行。

Answer 1

不，任务可以并行运行。

假设您的 YARN 集群有 24 个核心和 96 GB 内存。 mapreduce.map.cpu.vcores 和 mapreduce.reduce.cpu.vcores 的默认值为 1

因此，您可以启动 24 个容器，每个容器具有 4 个 GM 内存，它们可以并行运行。如果您的工作需要超过 24 个容器，则最初会启动前 24 个任务，一旦所需资源（容器）可用，就会启动后续任务。