为 Pyspark 数据框按多列重新分区

Question

编辑：在我再次重读帖子后，为问题添加更多上下文：

假设我有一个正在使用的 pyspark 数据框，目前我可以这样重新分区数据框：

dataframe.repartition(200, col_name)

然后我将分区数据帧写入镶木地板文件。读取目录的时候看到仓库中的目录按照我想要的方式分区了：

/apps/hive/warehouse/db/DATE/col_name=1
/apps/hive/warehouse/db/DATE/col_name=2

我想了解如何在多个层中对其进行重新分区，这意味着我将一列分区为顶级分区，将第二列分区为第二级分区，将第三列分区为第三级分区。是不是像在 write 方法中添加 partitionBy() 一样简单？

dataframe.mode("overwrite").partitionBy("col_name1","col_name2","col_name3")

这样创建目录？

/apps/hive/warehouse/db/DATE/col_name1=1
|--------------------------------------->/col_name2=1
|--------------------------------------------------->/col_name3=1

如果是这样，我可以使用 partitionBy() 来写出每个分区的最大文件数吗？

Answer 1

重新分区

函数 repartition 将控制数据的内存分区。如果您将 repartition 指定为 200，那么在内存中您将有 200 个分区。

文件系统上的物理分区

函数 partitionBy 与给定的列列表控制目录结构。物理分区将根据列名和列值创建。每个分区可以创建与 repartition 中指定的文件一样多的文件（默认为 200），只要您有足够的数据可以写入。

这是基于您的问题的示例。

dataframe.
repartition(200).
write.mode("overwrite").
partitionBy("col_name1","col_name2","col_name3")

它将在每个分区中提供 200 个文件，并且将根据给定的顺序创建分区。