HDFS 节点之间的数据如何拆分？答案

【问题标题】：How is data splitted between HDFS nodes?HDFS 节点之间的数据如何拆分？
【发布时间】：2020-01-29 11:07:51
【问题描述】：

这里我假设我有一个由 4 个节点组成的集群，并且我有 500GB 的数据量。然后在具有默认块大小（64Mb）的 Hadoop1 中，数据块将如何分配给节点，我也假设复制因子为 3。

我的理解：如果我有 200Mb 数据，那么在 Hadoop1 中，默认块大小（64Mb）数据被分成 4 个块 64+64+64+8 并且在四个节点中所有四个块将存在并复制。

我添加了一张图片来表示我的理解。如果我的理解是正确的，那么如果不能帮助我理解，它将如何处理 500Mb 数据。 My understanding of HDFS

【问题讨论】：

标签： hadoop hdfs

【解决方案1】：

是的，你的理解是正确的。 HDFS 中的默认块大小对于版本 1.x 是 64Mb，对于 2.x 是 128Mb。如果块没有完成，它就像是孢子一样。但如果需要，您可以配置大小。

默认复制因子是 3，但也可以更改配置，因此如果您有机架感知配置的块被复制：

更多详情可以查看article

【讨论】：