HDFS 平衡器 - 用于具有 1KB 文件的集群

Question

我有一个包含 3 个节点的 HDFS 集群。集群包含大量小文件 (KB)，每个节点的块数达到数百万。

我已经向集群添加了 4 台新服务器并启动了平衡器进程，但它看起来并没有做太多事情。 - 目标是减少每台服务器的百万块

为了平衡小文件，我应该更改以下参数的值以支持从 1KB 大小移动文件吗？

Ddfs.balancer.getBlocks.min-block-size=1048

** 我知道 HDFS 应该管理大文件 - 处理压缩

Answer 1

如果您正在运行带有 dfs.balancer.getBlocks.min-block-size 选项的版本，那么平衡器将不会移动低于该大小的块。

如果您有一个混合了大小文件的集群，平衡器会随机选择块。因此，如果大多数块都很小，它会倾向于移动比大块更多的小块，然后较小的块往往会堆积在使用较少磁盘空间的节点上。

引入上述参数是为了阻止这种情况发生。

因此，如果您需要让小块移动，则需要将该设置调整为小于默认值以使块移动。