【问题标题】:Find out actual disk usage in HDFS找出 HDFS 中的实际磁盘使用情况
【发布时间】:2015-10-30 13:38:52
【问题描述】:

有没有办法找出 HDFS 消耗了多少空间? 我用过

hdfs dfs -df

但删除大量数据后似乎无关原因

hdfs dfs -rm -r -skipTrash

上一个命令不是立即显示更改,而是在几分钟后显示更改(我需要最新的磁盘使用信息)。

【问题讨论】:

  • 没有解决办法??请评论显示有效解决方案的答案。

标签: hadoop hdfs bigdata diskspace


【解决方案1】:

hadoop cli 已弃用。请改用hdfs

文件夹:

sudo -u hdfs hdfs dfs -du -h /

集群方式:

sudo -u hdfs hdfs dfsadmin -report

【讨论】:

    【解决方案2】:
    hadoop fs -count -q /path/to/directory
    

    【讨论】:

      【解决方案3】:

      要查看特定文件夹占用的空间,请尝试:

      hadoop fs -du -s /folder/path
      

      如果你想查看整个 HDFS 的使用情况、占用空间、可用空间等:

      hadoop dfsadmin -report
      

      【讨论】:

      • 很遗憾,hadoop dfsadmin -report 也没有显示最新信息。
      • ...今天(2019)正确的命令是hdfs dfsadmin -report
      猜你喜欢
      • 2015-11-06
      • 2016-04-20
      • 1970-01-01
      • 1970-01-01
      • 2016-05-05
      • 1970-01-01
      • 2018-06-30
      • 2016-05-28
      • 1970-01-01
      相关资源
      最近更新 更多