Amazon Glue - 创建单个 Parquet

Question

我有我的数据源，它生成 csv 格式的每小时文件，这些文件被推送到 S3。然后使用 Glue 进行一些 ETL 并将转换后的数据再次推送回 S3。 使用此数据的其他部门希望将文件合并到昨天的单个文件中。 我编写了一个 python 程序，将昨天的 24 个文件合并到一个 CSV 文件中。 现在还需要单个合并文件在 Parquet 中也可用。
我创建了一个爬虫来生成我的 csv 表，然后我有一个将单个转换文件转换为 Parquet 的 Glue 作业，但是我得到了 Parquet 文件的多个部分，我相信这是因为快速压缩。但我想创建一个。如何在 Glue 中执行此操作？
其次，我想了解何时使用多个 Parquet 文件以及何时创建单个文件有意义。

Answer 1

你可以突破到DataFrames，调用repartition(1)，然后调用write。