MapReduce如何开启压缩算法对结果进行压缩

注:本文使用snappy算法进行压缩 内容在驱动类里面修改

方式一：在代码中进行设置压缩

设置map阶段的压缩

Configuration configuration = new Configuration();
configuration.set(“mapreduce.map.output.compress”,“true”);
configuration.set(“mapreduce.map.output.compress.codec”,“org.apache.hadoop.io.compress.SnappyCodec”);

设置reduce阶段的压缩

configuration.set(“mapreduce.output.fileoutputformat.compress”,“true”);
configuration.set(“mapreduce.output.fileoutputformat.compress.type”,“RECORD”);
configuration.set(“mapreduce.output.fileoutputformat.compress.codec”,“org.apache.hadoop.io.compress.SnappyCodec”);

方式二：配置全局的MapReduce压缩

修改mapred-site.xml配置文件，然后重启集群，以便对所有的mapreduce任务进行压缩
map输出数据进行压缩

mapreduce.map.output.compress true mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.SnappyCodec

reduce输出数据进行压缩

mapreduce.output.fileoutputformat.compress
true

mapreduce.output.fileoutputformat.compress.type
RECORD

mapreduce.output.fileoutputformat.compress.codec
org.apache.hadoop.io.compress.SnappyCodec

所有节点都要修改mapred-site.xml，修改完成之后记得重启集群

hadoop支持的压缩算法

各种压缩算法对应使用的java类

常见的压缩速率比较

snappy比以上压缩算法都要快