Parquet concat 或拆分两种方案

Question

我有两个 CSV 文件。在第一个我有：first_name，last_name，在第二个我有：email，phone。这两个文件按行索引（相同的记录数）连接。我需要以 parquet 格式保存所有数据。

第一个选项 - 将两个方案连接到一个并将所有内容保存在一个 parquet 文件中。

第二个选项 - 分别保存两个方案（作为两个镶木地板文件）。

根据我的用例，很有可能采用第二个选项（2 个文件）。最后，我需要使用各种工具查询数据，最常见的是使用 Presto。

问题 1- 是否可以从两个 parquet 文件中提取数据（比如说select first_name, email）？

问题 2- 运行时间会有所不同吗？

我进行了一些测试，但无法得出准确的结论...

Answer 1

您可以从这两个表中提取数据，但您需要有一些连接键才能合并记录。如果不存在，您可能必须使用 row_number() 假设数据在两个表中的顺序相同。数据大小在这里也很重要。

在大数据世界中，如果您必须在查询中非常频繁地连接这些表，建议使用非规范化格式。这种方法会给你更好的性能。