关闭 Hadoop MapReduce 作业的数据局部性

Question

我有一个 YARN 集群和集群中的几十个节点。我的程序是一个仅限地图的工作。 它的 Avro 输入非常小，有几百万行，但处理单行需要大量的 CPU 能力。我观察到许多地图任务都在单个节点上运行，而其他节点没有参与。这会导致某些节点非常慢并影响整体 HDFS 性能。我认为这种行为是因为 Hadoop 数据局部性。

我很好奇是否可以将其关闭，或者是否有其他方法可以强制 YARN 在集群中更均匀地分配地图任务？

谢谢！

Answer 1

假设您不能轻松地在集群中更均匀地重新分配数据（肯定不是您的所有数据都在一个节点上，对吧？！）这似乎是放松局部性的简单方法：

yarn.scheduler.capacity.node-locality-delay

这个设置应该有一个默认的40，试着把它设置为1看看这是否有想要的效果。也许甚至 0 也可以工作。