【问题标题】:How to compress and decompress Arrow or Feather file?如何压缩和解压缩 Arrow 或 Feather 文件?
【发布时间】:2020-01-01 06:19:00
【问题描述】:

我计划将数据文件格式从镶木地板更改为羽毛。 Parquet 有压缩选项(lz4 等),我已经使用过它们。但我在羽毛或箭头文件中找不到它们。不支持压缩吗?

【问题讨论】:

    标签: feather apache-arrow


    【解决方案1】:

    专为memory-resident-data设计的Arrow文件格式不支持lz4、snappy、gzip和zlib等压缩算法。 Arrow 目前唯一支持的压缩是字典压缩,这种方案通常在数据处理之前不需要解压缩。

    【讨论】:

    • 请注意,对在线数据和 Feather 文件的压缩支持在项目路线图中,但尚未实施。除了字典编码,我们还计划在内存中支持某些类型的编码,例如游程编码。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2010-09-05
    • 2010-12-14
    • 2011-11-15
    • 2021-09-12
    • 1970-01-01
    • 1970-01-01
    • 2013-03-09
    相关资源
    最近更新 更多