pyspark 的 lit() 中的聚合函数以及 withColumn

Question

我在数据框中有列数量。我想在这个数据框中添加一个新列，每条记录都有min("Quantity")。我正在尝试在pyspark 中使用lit()。像下面的东西

df.withColumn("min_quant", lit(min(col("Quantity")))).show().

导致出现以下错误

grouping expressions sequence is empty, and `InvoiceNo` is not an aggregate function. 
Wrap (min(`Quantity`) AS `min_quant`) in windowing function(s) or wrap 

这是有效的：

df.withColumn("min_quant", lit(2)).show().

但是，我想要min(Quantity) 来代替这里的 2。我错过了什么吗？

Answer 1

请尝试使用窗口函数，因为 min() 函数需要聚合。

val windowSpec = Window.orderBy("InvoiceNo")

df.withColumn("min_quant", min("Quantity") over(windowSpec)).show() 

样本结果：

+---------+----+--------+---------+
|InvoiceNo|name|Quantity|min_quant|
+---------+----+--------+---------+
|        1| ABC|      19|        1|
|        1| ABC|       1|        1|
|        1| ABC|       8|        1|
|        1| ABC|     389|        1|
|        1| ABC|     196|        1|
|        2| CBD|      10|        1|
|        2| CBD|     946|        1|
|        3| XYZ|       3|        1|
+---------+----+--------+---------+