查找用于 hadoop 文件的压缩编解码器

Question

给定一个压缩文件，在 hadoop 平台上编写，采用以下格式之一：

• Avro
• 镶木地板
• 序列文件

如何找到使用的压缩编解码器？假设使用以下压缩编解码器之一（并且文件名中没有文件扩展名）：

• 活泼
• Gzip（Avro 不支持）
• 放气（Parquet 不支持）

Answer 1

Parquet 的 Java 实现包括 parquet-tools 实用程序，提供了多个命令。请参阅其documentation page 了解构建和入门。各个命令的更详细描述由parquet-tools 自己打印。您要查找的命令是meta。这将显示各种元数据，包括压缩。您可以找到示例输出 here，显示 SNAPPY 压缩。

请注意，整个文件的压缩算法不必相同。不同的列块可以使用不同的压缩，因此压缩编解码器没有单个字段，而是每个列块都有一个字段。 （列块是属于一个行组的列的一部分。）然而，在实践中，您可能会发现所有列块都使用相同的压缩编解码器。

Avro 也有一个类似的实用程序，称为avro-tool。我对它不是很熟悉，但它 has 一个 getmeta 命令应该会显示你使用的压缩编解码器。