hadoop + 如何重新平衡hdfs

Question

我们有HDP集群版本2.6.5和8数据节点，所有机器都安装在rhel 7.6版本上

HDP 集群基于 amabri 平台版本 - 2.6.1

每个数据节点（worker machine）包括两个磁盘，每个磁盘大小为1.8T

当我们访问数据节点机器时，我们可以看到磁盘大小之间的差异

例如，在第一个数据节点上，大小为：（df -h）

/dev/sdb                  1.8T  839G  996G  46% /grid/sdc
/dev/sda                  1.8T 1014G  821G  56% /grid/sdb

在第二个数据节点上，大小为：

/dev/sdb                  1.8T  1.5T  390G  79% /grid/sdc
/dev/sda                  1.8T  1.5T  400G  79% /grid/sdb

在第三个数据节点的大小为：

/dev/sdb                  1.8T  1.7T  170G  91% /grid/sdc
/dev/sda                  1.8T  1.7T  169G  91% /grid/sdb

等等

最大的问题是为什么 HDFS 不对 HDFS 磁盘执行重新平衡？

例如，所有磁盘上的预期结果在所有 datanodes 机器上应该具有相同的大小

为什么datanode1 到 datanode2 到 datanode3 等之间的使用大小不同？

关于 HDFS 中调整参数的任何建议可以帮助我们吗？

因为当一个磁盘达到100% 大小而另一个磁盘比50% 更小时，它非常关键

Answer 1

这是 HDP 2.6 中 hdfs 重新平衡器的已知行为，块分布不平衡的原因有很多。 Click检查所有可能的原因。

HDFS-1312 引入了磁盘平衡选项来解决此问题。

以下文章将帮助您更有效地调整它：-

1. HDFS Balancer (1): 100x Performance Improvement
2. HDFS Balancer (2): Configurations & CLI Options
3. HDFS Balancer (3): Cluster Balancing Algorithm

我建议升级到 HDP3.X，因为 HDP 2.x 不再是 Cloudera Support 的not supported。