【发布时间】：2016-11-06 00:16:24
【问题描述】：
我正在使用Hadoop Archive 来减少我的 Hadoop 集群中的文件数量，但为了保留数据，我希望尽可能长时间地保留我的数据。那么问题是Hadoop Archive没有减少文件夹大小（我的文件夹有多种类型的文件，小文件和大文件，那么不适合使用Sequence File）。
我使用了-D mapreduce.compress.map.output=true -D mapred.map.ouput.compress.codec=org.apache.hadoop.io.compress.GzipCodec 之类的选项，但它不起作用。
有谁知道压缩 Hadoop 存档输出的方法，或者建议我以某种方式实现这两个目标（压缩大小和减少文件数量）。
感谢任何信息。非常感谢。
【问题讨论】：
标签： hadoop hadoop-yarn hadoop-archive bigdata