如何在 pyspark 中按列对数据帧进行分区以进行进一步处理？答案

【问题标题】：How to partition dataframe by column in pyspark for further processing?如何在 pyspark 中按列对数据帧进行分区以进行进一步处理？
【发布时间】：2021-08-10 17:45:14
【问题描述】：

我需要按列对数据框进行分区。我知道可以保存在单独的文件中。但是我需要分区进行进一步处理（我需要按照一定的顺序对分区进行排序，并将udf应用于有序的分区）。

我的代码是：

df = spark.createDataFrame([(2,), (1,), (2,), (1,), (2,)], ("name",)) \
    .repartitionByRange(2, "name") \
    .rdd.glom().collect()
print(df)

# [[Row(name=2), Row(name=1), Row(name=2), Row(name=1), Row(name=2)], []]

我需要得到类似的东西：

[[(2,), (2,), (2,)], [(1,), (1,)]]

【问题讨论】：

标签： apache-spark pyspark rdd partitioning

【解决方案1】：

您可以使用repartition 代替repartitionByRange：

df = spark.createDataFrame([(2,), (1,), (2,), (1,), (2,)], ("name",)) \
    .repartition(2, "name") \
    .rdd.glom().collect()

print(df)
# [[Row(name=2), Row(name=2), Row(name=2)], [Row(name=1), Row(name=1)]]

repartitionByRange 使用抽样来估计范围，可能会导致您观察到的错误。

【讨论】：