压缩是否支持多文件和分割:

Hadoop读书笔记----(三)压缩与解压缩
hadoop默认用压缩算法的本地实现

===============================邪恶的分割线=======================

 压缩是否有本地实现:
Hadoop读书笔记----(三)压缩与解压缩
hadoop的mapReduce算方法需要Splittable的压缩算法支持。

如何选择压缩算法:

举例:大型的日志文件存储

1,不要压缩存储

2,选择zip 或者bzip2能 Splittable 的压缩算法

3,先把分成chunk,再选择任意一种压缩算法压缩

4,使用SequnceFile

 

 

相关文章:

  • 2021-12-11
  • 2022-01-18
  • 2021-08-03
  • 2021-08-04
  • 2021-10-11
  • 2022-12-23
猜你喜欢
  • 2022-02-09
  • 2021-08-11
  • 2022-12-23
  • 2021-11-05
相关资源
相似解决方案