Apache Pig 上可以使用哪种文件格式？ [复制]

Question

我是 Apache Pig 的新手。

我不确定 Pig 上可以使用哪种输入文件格式。

例如，Parquet、Text、Avro、RCFile 和 SequenceFile 在 Impala 上可用。 （见：How Impala Works with Hadoop File Formats）

我猜文本文件没问题，因为数据加载示例使用的是.log 文件。 （见：Getting Started） 我还找到了AvroStorage page，所以 Avro 可用。

然后，Parquet、RCFile、SequenceFile 等等呢？或者，我有什么问题吗？

请指教，谢谢。

Answer 1

使用1.4 version 的built-in functions，您可以阅读以下内容：

1. BinStorage
2. JsonLoader、JsonStorage
3. 猪转储
4. 猪存储
5. 文本加载器
6. HBaseStorage
7. AvroStorage
8. TrevniStorage
9. 累积存储
10. 兽人存储

对于某些加载器，使用 gzip 和 bzip compression support。

您可以使用HCatalog 从任何其他 Hadoop 组件中读取数据。

以及piggybank 库中的许多其他加载程序。

否则，你可以自己写loader。