【问题标题】:Apache Parquet for flat data structures用于平面数据结构的 Apache Parquet
【发布时间】:2019-03-25 08:57:51
【问题描述】:

Parquet 从一开始就考虑到了复杂的嵌套数据结构,并使用了 Dremel 论文中描述的记录粉碎和组装算法。

我知道嵌套结构的支持是通用存储格式所必需的。但是,在平面数据的情况下,记录粉碎和组装的开销(以及可能用于定义和重复级别的额外存储)似乎是多余的。

开销可以忽略不计吗?是否有其他可用的列式存储格式?

【问题讨论】:

  • 也许更好的方法是提供一些展平数据示例并讨论为什么使用 parquet 会产生开销。

标签: hadoop parquet


【解决方案1】:

我认为仅使用结构化文件类型的好处比纯文本的替代方案更好,无论是否有使用该格式的算法支持。

XML 文件可以有一个模式,但过于冗长,并且不包含像 Parquet 这样的柱状统计信息。

ORC、RCFile 和 RecordIO 是用于存储的替代列格式。

Apache Arrow 是一种内存列格式

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2012-03-15
    • 2019-12-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-09-12
    • 1970-01-01
    相关资源
    最近更新 更多