根据组列删除列中的空值

Question

我有一个包含组、ID 和目标列的数据集。我试图通过 Group 列消除空目标值，忽略 ID 列。我想在 PySpark 中执行此操作。

| Group | ID  | Target   |
| ----- | --- | -------- |
| A     | B   |  10      |
| A     | B   |  10      |
| A     | B   |  10      |
| A     | C   | null     |
| A     | C   | null     |
| A     | C   | null     |
| B     | D   | null     |
| B     | D   | null     |
| B     | D   | null     |

这是我正在寻找的结果数据集：

| Group | ID  | Target   |
| ----- | --- | -------- |
| A     | B   |  10      |
| A     | B   |  10      |
| A     | B   |  10      | 
| B     | D   | null     |
| B     | D   | null     |
| B     | D   | null     |

换句话说，如果组已经有一个目标值，我不需要该组中具有空目标的值，无论它们的 ID 是什么。但是，我需要确保每个组都有一个不为空的目标，所以如果有一个组只有空目标，它们就不能被删除。

Answer 1

您可以为每个组计算 max(target) 并将其分配给该组中的所有行。然后过滤行，如果最大值为空，则选择该行，如果最大值不为空且目标也不为空。

from pyspark.sql import functions as F
from pyspark.sql import Window

data = [("A", "B", 10),
 ("A", "B", 10),
 ("A", "B", 10),
 ("A", "C", None),
 ("A", "C", None),
 ("A", "C", None),
 ("B", "D", None),
 ("B", "D", None),
 ("B", "D", None),]

df = spark.createDataFrame(data, ("Group", "ID", "Target",))


window_spec = Window.partitionBy("Group")

df.withColumn("max_target", F.max("Target").over(window_spec))\
  .filter((F.col("max_target").isNull()) | 
          (F.col("Target").isNotNull() & F.col("max_target").isNotNull()))\
  .drop("max_target")\
  .show()

输出

+-----+---+------+
|Group| ID|Target|
+-----+---+------+
|    A|  B|    10|
|    A|  B|    10|
|    A|  B|    10|
|    B|  D|  null|
|    B|  D|  null|
|    B|  D|  null|
+-----+---+------+