使用 JsonStorage 和 Apache Pig 保存为 bz2 格式答案

【问题标题】：Save as bz2 format using JsonStorage with Apache Pig使用 JsonStorage 和 Apache Pig 保存为 bz2 格式
【发布时间】：2014-02-26 08:46:49
【问题描述】：

有没有办法在 JsonStorage 中使用 bz2 来存储数据？

我试过了

STORE DATA INTO 'path_to_file.bz2’ USING JsonStorage();

但这并不成功。

我可以用 PigStorage 做到这一点，但它使用字符分隔符而不是在 json 中分隔字段。

【问题讨论】：

【解决方案1】：

1) 在脚本开头打开压缩：

SET mapred.output.compress 'true';
SET mapred.output.compression.codec 'org.apache.hadoop.io.compress.BZip2Codec';

2) 存储数据。

STORE DATA INTO 'path_to_file’ USING JsonStorage();

目录中的结果文件应该是 bz2 压缩的。

【讨论】：

【解决方案2】：

JsonStorage 不支持压缩，但您可以编写自己的实现：http://pig.apache.org/docs/r0.12.0/func.html#load-store-functions

【讨论】：