【问题标题】:finding out the raw parquet file size?找出原始镶木地板文件的大小?
【发布时间】:2015-11-19 20:27:00
【问题描述】:

有没有办法确定在 snappy 中压缩的 parquet 文件的未压缩文件大小是多少?我在 HDFS 目录中有很多镶木地板文件,我试图弄清楚如果数据未压缩,是否有办法计算文件大小。

【问题讨论】:

    标签: hadoop parquet


    【解决方案1】:

    您可以尝试解压缩数据并查看它消耗了多少空间。见How to decompress the hadoop reduce output file end with snappy?

    也许有一种我不知道的更优雅的方式

    【讨论】:

      猜你喜欢
      • 2021-02-28
      • 2017-08-12
      • 1970-01-01
      • 2020-12-14
      • 2017-06-27
      • 2021-09-24
      • 2018-04-19
      • 2019-09-23
      • 2018-07-01
      相关资源
      最近更新 更多