1 hadoop压缩codec, 作用: 加快数据传输速度,比如shuffle时,是优化的一部分。

 

在Hadoop中,codec由CompressionCode的实现来表示,如下是实现:

 


hadoop压缩
 

压缩算法效率:   如果用,感觉综合排名下,lzo效率是最高的。

 


hadoop压缩
 

 

mr中压缩参数:

 


hadoop压缩
 

 


hadoop压缩
 

 

 

 

 

 

相关文章: