不要忽略 MAX 中的 NULL

Question

使用这个数据框：

from pyspark.sql import functions as F
df = spark.createDataFrame([(None,), (1,), (2,)], ['col_name'])
df.show()
# +--------+
# |col_name|
# +--------+
# |    null|
# |       1|
# |       2|
# +--------+

计算MAX默认忽略空值：

max = F.max('col_name').alias('col_name')
df.agg(max).show()
# +--------+
# |col_name|
# +--------+
# |       2|
# +--------+

有没有办法使用MAX 进行聚合，但不忽略空值？如果有 null，它应该返回 null。

Answer 1

我们可以这样做，但它很冗长......

max = F.when(F.expr("any(col_name is null)"), None).otherwise(F.max("col_name")).alias("col_name")
df.agg(max).show()
# +--------+
# |col_name|
# +--------+
# |    null|
# +--------+