HDFS 过度复制和复制不足

Question

HDFS 中何时会发生过度复制？由于在 hdfs-site.xml 中设置了复制因子，并且复制由 Hadoop 框架负责。

Answer 1

关于正在复制： 当集群中的一个或多个 Datanode 因某些故障而关闭并且再也没有回来时，就会发生这种情况。在这种情况下，存储在这些下节点上的块的预期复制因子会降低。

关于过度复制： 当一个或多个 Datanode 发生故障但一段时间后又回来时，这种情况会再次发生。在这短暂的停机时间内，Namenode 发现一些块复制不足，并开始复制复制不足的块以使块计数恢复正常。如果一段时间后那些关闭的 Datanodes 再次恢复，那么块的副本将比预期的要多。