如何在hadoop中禁用本机zlib压缩库答案

【问题标题】：How to disable native zlib compression library in hadoop如何在hadoop中禁用本机zlib压缩库
【发布时间】：2016-10-22 15:24:20
【问题描述】：

我有大量以 gz 格式存储的文件，并试图通过读取这些文件来运行 map-reduce 程序（使用 PIG）。我遇到的问题是，由于数据检查，Hadoop 中的本机解压器（ZlibDecompressor）无法成功解压其中的一些。但我能够使用 java GZIPInputStream 成功读取这些文件。现在我的问题是 - 有没有办法禁用 Zlib？或者 hadoop(2.7.2) 中是否有任何替代的 GZipCodec 可以用来解压缩 gzip 输入文件？

下面给出的错误

org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1475882463863_0108_m_000022_0 - exited : java.io.IOException: incorrect data check
   at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(Native Method)
   at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:228)
   at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:91)
   at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:85)
   at java.io.InputStream.read(InputStream.java:101)
   at org.apache.hadoop.util.LineReader.fillBuffer(LineReader.java:180)
   at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:216)
   at org.apache.hadoop.util.LineReader.readLine(LineReader.java:174)

非常感谢您的帮助。

【问题讨论】：

标签： java hadoop apache-spark zlib gzip

【解决方案1】：

我自己找到了答案。您可以设置以下属性来禁用所有本机库。

io.native.lib.available=false;

或者您可以扩展 org.apache.hadoop.io.compress.GzipCodec.java 以仅删除 GzipCompressor 的本机实现。

【讨论】：