pyspark 列值是一个列表

Question

使用包含列的数据框，列中的值是列表，我该如何处理这样的列

id    |   values
1     |   [1,1,2,4,3,5,6]
2     |   [1,2,3,5,6,7,8]
....

对于每一行，取前三个值并从前三个中取最大值

预期为：

id  | max_value
1   | 2
2   | 3
....

Answer 1

您可以使用来自 pyspark sql.functions 的 slice 和 array_max 函数

例如，通过将array_max(slice(values, 1, 3)) 传递给F.expr，您是第一个列表（slice）并取最大值（array_max）

import pyspark.sql.functions as F
df
.withColumn("max_value", F.expr("array_max(slice(values, 1, 3))"))
.show(truncate=False)

+----------------+-
|id |max_value|
+----------------+-
|1  |2      |
|2  |3      |

+----------------+-