【发布时间】:2019-03-25 08:57:51
【问题描述】:
Parquet 从一开始就考虑到了复杂的嵌套数据结构,并使用了 Dremel 论文中描述的记录粉碎和组装算法。
我知道嵌套结构的支持是通用存储格式所必需的。但是,在平面数据的情况下,记录粉碎和组装的开销(以及可能用于定义和重复级别的额外存储)似乎是多余的。
开销可以忽略不计吗?是否有其他可用的列式存储格式?
【问题讨论】:
-
也许更好的方法是提供一些展平数据示例并讨论为什么使用 parquet 会产生开销。