我可以将 mapreduce 输出压缩为 gzip
"mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec"
为 hadoop 实现 zip 编解码器会很简单吗？ Zip是容器，但我每个存档只需要一个文件，那么用CompressionCodec接口创建ZipCodec会很容易吗？
或者，也许有一种有效的方法可以将gz 文件转换为zips，因为它们可以使用相同的放气算法？
【问题讨论】：
没什么大不了的，你可以换一个java.util.zip.ZipOutputStream。
您可以通过实现自己的编解码器来做到这一点，这是通过扩展 org.apache.hadoop.io.compress.DefaultCodec 来完成的。
在此编解码器中，您可以通过分别扩展 org.apache.hadoop.io.compress.CompressorStream 和 org.apache.hadoop.io.compress.DecompressorStream 来包装 java zip 流。
最后，您必须重写 createInputStream 和 createOutputStream 方法并在那里返回包装流的新实例。
仍然需要一些编码，我很确定某处一定已经存在实现（我可能记得几年前它也在 Hadoop 版本中）。
【讨论】：