【发布时间】:2015-11-19 20:27:00
【问题描述】:
有没有办法确定在 snappy 中压缩的 parquet 文件的未压缩文件大小是多少?我在 HDFS 目录中有很多镶木地板文件,我试图弄清楚如果数据未压缩,是否有办法计算文件大小。
【问题讨论】:
有没有办法确定在 snappy 中压缩的 parquet 文件的未压缩文件大小是多少?我在 HDFS 目录中有很多镶木地板文件,我试图弄清楚如果数据未压缩,是否有办法计算文件大小。
【问题讨论】:
您可以尝试解压缩数据并查看它消耗了多少空间。见How to decompress the hadoop reduce output file end with snappy?
也许有一种我不知道的更优雅的方式
【讨论】: