HDFS 平衡器迭代都是空闲的

Question

在我的 3 机集群 Hadoop 版本 2.7.3 上，数据节点的利用率变得非常不平衡，所以我尝试使用 hdfs balancer 来解决这个问题。但是平衡器什么都不做。每次迭代都是这样的（注意我隐藏了节点的实际 IP 地址）：

2017 年 8 月 28 日 12:12:50 PM 8 0 B 289.99 GB 10 GB

17/08/28 12:12:59 INFO net.NetworkTopology：添加新节点：/default-rack/[Datanode1Addr]:50010

17/08/28 12:12:59 INFO net.NetworkTopology：添加新节点：/default-rack/[Datanode2Addr]:50010

17/08/28 12:12:59 INFO net.NetworkTopology：添加新节点：/default-rack/[Datanode3Addr]:50010

17/08/28 12:12:59 INFO balancer.Balancer: 2 over-utilized: [[Datanode1Addr]:50010:DISK, [Datanode3Addr]:50010:DISK]

17/08/28 12:12:59 INFO balancer.Balancer: 1 未充分利用：[[Datanode2Addr]:50010:DISK]

17/08/28 12:12:59 INFO balancer.Balancer：需要移动 289.99 GB 以使集群平衡。

17/08/28 12:12:59 INFO balancer.Balancer: 决定将 10 GB 字节从 [Datanode1Addr]:50010:DISK 移动到 [Datanode2Addr]:50010:DISK

17/08/28 12:12:59 INFO balancer.Balancer：在本次迭代中将移动 10 GB

...没有数据被移动。

有什么想法吗？

Answer 1

如果您的集群中有 3 个复制因子且只有 3 个节点，则 HDFS 平衡器无法迁移数据，因为您必须维护 3 个数据副本，而 HDFS 不会在同一节点上复制数据。