以 Parquet 格式保存 PostgreSQL 数据

Question

我正在开展一个项目，该项目需要从庞大的 PostgreSQL 数据库生成镶木地板文件。数据大小可能很大（例如：10TB）。我对这个主题很陌生，并且在网上做了一些研究，但没有找到将数据转换为 Parquet 文件的直接方法。以下是我的问题：

1. 我看到的唯一可行的解​​决方案是通过 JDBC 将 Postgres 表加载到 Apache Spark 并保存为 parquet 文件。但我认为传输 10TB 数据时会很慢。
2. 是否可以生成 10 TB 的巨大 parquet 文件？还是创建多个 parquet 文件更好？

希望我的问题很清楚，我非常感谢任何有用的反馈。提前致谢！

Answer 1

使用ORC 格式代替此卷的拼花格式。 我假设数据是分区的，所以我认为利用数据分区并行提取是个好主意。