ORC vs Parquet文件格式[关闭]

Question

我读过很多博客和文章，其中引用了“ORC 文件格式在 Apache Hive 中非常好用，Parquet 在 Apache Spark 中非常好用”，但实际上并没有一个适当的详细解释。

请提供一些例子来证明这一点。

Answer 1

Hive 有一个矢量化 ORC 阅读器，但没有矢量化 parquet 阅读器，而 spark 有一个矢量化 parquet 阅读器，但没有矢量化 ORC 阅读器。 Spark 在 parquet 上表现最好，hive 在 ORC 上表现最好。

向量化意味着行被批量解码，显着提高内存局部性和缓存利用率。

[更新]

Spark 2.3 已经引入了原生矢量化 ORC 阅读器，它在阅读 ORC 文件和原生 parquet 阅读器方面增加了改进。