Hadoop 文件系统大小 du 命令

【问题标题】：Hadoop filesystem size du commandHadoop 文件系统大小 du 命令
【发布时间】：2018-01-18 13:48:10
【问题描述】：

我想知道hadoop fs -du 的两个输出是什么意思。文档上不清楚：

In [16]: subprocess.call(["hadoop", "fs", "-du","-
h","/project/crm/warehouse/"])

输出：

5.9 G 17.8 G /project/crm/warehouse/n98770_patron_1

路径的实际大小是多少？ 5.9 GB 还是 17.8？

谢谢

【问题讨论】：

【解决方案1】：

第一列是实际的文件或目录大小，第二列是由于复制而消耗的实际空间

由于 HDFS 会复制您的数据，因此第二个字段显示它之后占用的总磁盘空间。

在这种情况下，您的总尺寸为 17.8，基本尺寸为 5.9

17.8/5.9 大约是 3

这意味着您的 hdfs 集群的复制因子为 3（默认值）。

如果你的复制因子是 2，那么输出将是：

5.9 G 12 G /project/crm/warehouse/n98770_patron_1

【讨论】：