【问题标题】:Is there a command to count all files number of a HDFS path?是否有计算 HDFS 路径的所有文件数的命令?
【发布时间】:2021-12-26 01:44:37
【问题描述】:

例如

hdfs_path="/user/label/"
hadoop fs -ls $hdfs_path

/user/label/2021-07-01
/user/label/2021-07-02
..., ...
/user/label/2021-11-12
/user/label/2021-11-13

我想统计时间戳子目录中的所有文件编号,例如/user/label/2021-07-01/user/label/2021-07-02 等。

【问题讨论】:

标签: file hadoop hdfs


【解决方案1】:
hadoop fs -count $hdfs_path/*

此命令足以计算 HDFS 路径的子目录的文件数,衷心感谢@Ben Watson

【讨论】:

    猜你喜欢
    • 2014-05-02
    • 1970-01-01
    • 1970-01-01
    • 2011-09-03
    • 2019-09-11
    • 1970-01-01
    • 1970-01-01
    • 2021-10-02
    • 1970-01-01
    相关资源
    最近更新 更多