在hadoop HDFS中存储一个大文件？

Question

我需要在 HDFS 上存储一个大约 10TB 的大文件。我需要了解的是 HDFS 将如何存储此文件。比如说，集群的复制因子是 3，我有一个 10 节点集群，每个节点上有超过 10 TB 的磁盘空间，即集群总容量超过 100 TB。

现在 HDFS 会随机选择三个节点并将文件存储在这三个节点上。所以这听起来很简单。请确认？

或者 HDFS 是否拆分文件 - 比如说分成 10 个拆分，每个拆分 1TB，然后将每个拆分存储在随机选择的 3 个节点上。拆分也是可能的，如果是，它是否是启用它的配置方面。 如果 HDFS 必须拆分二进制文件或文本文件 - 它是如何拆分的。只需按字节。

Answer 1

是的，它会拆分文件（默认为 128mb 块）。每个块将存储在 3 个随机节点上。因此，您将拥有 30TB 的数据，平均分布在 10 个节点上。