【发布时间】：2020-08-19 10:06:08
【问题描述】：
我正在尝试为 Hdfs 中的 parquet 文件保留数据。对于已经使用 snappy 压缩的此类文件类型，哪种压缩技术会更好？
【问题讨论】：
标签： compression hdfs parquet snappy
【发布时间】：2020-08-19 10:06:08
【问题描述】：
Snappy 是保持数据压缩的最佳选择，如果您想进一步添加另一种压缩编码，它不会帮助您节省空间，因为它已经被压缩了。如果您以后想阅读，它只会增加解压缩的开销。最好使用 snappy 压缩本身。
【讨论】：
较新版本的 Parquet 支持 Zstandard 或 Brotli 压缩。根据设置的压缩级别，这应该比 snappy 提高压缩比和速度。不过，这要求您检查您正在使用的所有工具是否已经支持 Zstandard。
Parquet 的一个重要方面是压缩是格式的一部分，并且数据块是单独压缩的。这允许非常有效地访问压缩文件，而无需完全解压缩。在现有 Parquet 文件上应用压缩将删除此功能并严重影响性能。
【讨论】：
-
感谢您的回复。