Parquet 与 RecordIO

Question

这些天我正在学习 AWS。所以，如果这个问题太基本，我很抱歉。我已经阅读了一堆关于 Parquet 优于 CSV 的开放式和封闭式问题（已回答：What are the pros and cons of parquet format compared to other formats?），以及 RecordIO-protobuf 在文件与管道模式方面的优势（例如未回答的What makes RecordIO attractive）。但是，我还没有看到 RecordIO-protobuf 和 Parquet 之间的任何比较。

以下是我可以从我的研究中收集到的信息：

• Parquet 是列格式，但 RecordIO-protobuf 用于序列化。
• 并非所有 SageMaker 算法都支持 Parquet。大多数 SageMaker 算法在 RecordIO-protobuf 格式下效果最佳。 (https://docs.aws.amazon.com/sagemaker/latest/dg/cdf-training.html)

除了以上两个区别之外，使用 Parquet 与 recordIO 格式的优缺点是什么？此外，搜索“Parquet vs. RecordIO”给我的谷歌结果为零，这让我觉得我在比较苹果和橘子。

如果有任何想法，我将不胜感激。

Answer 1

Parquet 非常适合分析数据，因为它的文件很小，并且允许您仅扫描感兴趣的列。

RecordIO 格式通常用于训练机器学习模型，以便模型需要的数据仅在需要时呈现。