【问题标题】:What are the differences between feather and parquet?羽毛和镶木地板有什么区别?
【发布时间】:2018-06-13 11:36:13
【问题描述】:

两者都是列(磁盘)存储格式,用于数据分析系统。 两者都集成在Apache Arrow(python 的pyarrow 包)中,并且是 旨在与 Arrow 对应,作为柱状内存分析层。

这两种格式有何不同?

在可能的情况下,与熊猫一起工作时,您是否应该总是更喜欢羽毛?

feather 比parquet 更适合的用例有哪些? 反过来呢?


附录

我在这里找到了一些提示https://github.com/wesm/feather/issues/188, 但考虑到这个项目的年轻,它可能有点过时了。

不是一个严肃的速度测试,因为我只是在倾倒和加载一个整体 数据框,但如果你从来没有给你一些印象 以前听说过这些格式:

 # IPython    
import numpy as np
import pandas as pd
import pyarrow as pa
import pyarrow.feather as feather
import pyarrow.parquet as pq
import fastparquet as fp


df = pd.DataFrame({'one': [-1, np.nan, 2.5],
                   'two': ['foo', 'bar', 'baz'],
                   'three': [True, False, True]})

print("pandas df to disk ####################################################")
print('example_feather:')
%timeit feather.write_feather(df, 'example_feather')
# 2.62 ms ± 35.8 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
print('example_parquet:')
%timeit pq.write_table(pa.Table.from_pandas(df), 'example.parquet')
# 3.19 ms ± 51 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
print()

print("for comparison:")
print('example_pickle:')
%timeit df.to_pickle('example_pickle')
# 2.75 ms ± 18.8 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
print('example_fp_parquet:')
%timeit fp.write('example_fp_parquet', df)
# 7.06 ms ± 205 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)
print('example_hdf:')
%timeit df.to_hdf('example_hdf', 'key_to_store', mode='w', table=True)
# 24.6 ms ± 4.45 ms per loop (mean ± std. dev. of 7 runs, 100 loops each)
print()

print("pandas df from disk ##################################################")
print('example_feather:')
%timeit feather.read_feather('example_feather')
# 969 µs ± 1.8 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
print('example_parquet:')
%timeit pq.read_table('example.parquet').to_pandas()
# 1.9 ms ± 5.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

print("for comparison:")
print('example_pickle:')
%timeit pd.read_pickle('example_pickle')
# 1.07 ms ± 6.21 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
print('example_fp_parquet:')
%timeit fp.ParquetFile('example_fp_parquet').to_pandas()
# 4.53 ms ± 260 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)
print('example_hdf:')
%timeit pd.read_hdf('example_hdf')
# 10 ms ± 43.4 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

# pandas version: 0.22.0
# fastparquet version: 0.1.3
# numpy version: 1.13.3
# pandas version: 0.22.0
# pyarrow version: 0.8.0
# sys.version: 3.6.3
# example Dataframe taken from https://arrow.apache.org/docs/python/parquet.html

【问题讨论】:

    标签: python pandas parquet feather pyarrow


    【解决方案1】:
    • Parquet 格式专为长期存储而设计,其中 Arrow 更适用于短期或临时存储(Arrow 可能在 1.0.0 发布后更适合长期存储,因为二进制格式然后会稳定)

    • Parquet 的编写成本比 Feather 高,因为它具有更多的编码和压缩层。 Feather 是未经修改的原始柱状箭头内存。将来我们可能会在 Feather 中添加简单的压缩。

    • 由于字典编码、RLE 编码和数据页压缩,Parquet 文件通常会比 Feather 文件小很多

    • Parquet 是一种标准的分析存储格式,许多不同的系统都支持它:Spark、Hive、Impala、各种 AWS 服务,以及未来的 BigQuery 等。因此,如果您进行分析,Parquet 是一个不错的选择作为多系统查询的参考存储格式

    您展示的基准测试会非常嘈杂,因为您读取和写入的数据非常小。您应该尝试压缩至少 100MB 或超过 1GB 的数据以获得更多信息基准,参见例如http://wesmckinney.com/blog/python-parquet-multithreading/

    希望对你有帮助

    【讨论】:

    • 是的,“未压缩”将始终是一个选项
    • HDF5 更通用、更重......大多数时候也慢很多。
    • 只是为了添加一个观察结果,parquet 格式的 200,000 张图像占用了 4 GB,但羽毛格式的图像占用了 6 GB。使用 pandas pd.read_parquet 和 pd.read_feather 读取数据。 pd.read_parquet 大约需要 4 分钟,但 pd.read_feather 需要 11 秒。这是一个巨大的差异。参考:kaggle.com/corochann/…
    • @WesMcKinney 我注意到您的答案是在 2018 年写的。2.3 年后,您是否仍然认为 Arrow(羽毛)不适合长期存储(与 Parquet 相比)?有具体原因吗?喜欢稳定?格式演变?还是?
    • W. McKinney 指出羽毛 (v2) 现在在这里稳定:stackoverflow.com/questions/64089691/…
    猜你喜欢
    • 1970-01-01
    • 2015-05-30
    • 1970-01-01
    • 2020-01-10
    • 2020-10-25
    • 2021-06-13
    • 2016-07-04
    • 1970-01-01
    • 2021-03-03
    相关资源
    最近更新 更多