在 AWS Elastic Map Reduce 中禁用 Gzip 输入解压缩

Question

我正在 Gzipped .arc 文件上运行 MapReduce 任务。与question 类似，我遇到了困难，因为 Gzip 解压缩正在自动运行（因为文件具有 .gz 扩展名），但它会导致换行/回车问题按照 Unix 文件编码呈现为换行符.这使得输入完全不可读，因为它取决于嵌入在文件中的特定字符数。我正在尝试禁用 Gzip 解压缩，以便我可以在我的映射器中正确执行此操作。我试过了：

 -jobconf stream.recordreader.compression=none

但这似乎并不影响压缩。有什么方法可以防止我输入的 Gzip 解压缩？

谢谢，-杰夫

Answer 1

我已经确定了潜在的问题，并解决了您提到的问题：

• hadoop converting \r\n to \n and breaking ARC format

基本上是 PipeMapper.java 中的一个问题，您可以轻松修改