使用来自另一个数据帧的条目过滤一个 pyspark 数据帧

Question

我有两个数据框，其中一个来自 Category 必须过滤的地方，另一个来自它所做的条件过滤。

Dataframe 1：符合条件的

Earning    Age      House size    Family   ..10 more columns with no values(empty)

Avg        Low       Avg           <Empty>

使用上面的dataframe_1，我必须从满足dataframe_1 中给出的条件的dataframe_2 中过滤Category

Category  Age      House size    Family   Earning   .... more columns
  01      High       Avg          Low      Low
  02      Low        Avg          Avg      Avg
  03      Avg        Avg          High     High

这里的输出将是Category:

02

因为它满足dataframe_1中的所有条件

我知道在 pyspark 中使用 filter 进行过滤的过程，但使用像这样的单个数据框：

dataframe_2.select("category").filter(col("Earning") == 'Avg').filter(col("Age") == 'Low').filter(col("House size") == 'Avg').show()

我的问题是如何使用df_1 从df_2 中过滤category，给定df_1 中的任何值都可以具有过滤条件并处理空值。任何线索都会有所帮助

Answer 1

你可以通过左连接来实现。

处理空值取决于您的用例。但是，以下是一些关于如何处理它们的想法。

1. 删除包含空值的记录。
2. 将 null 替换为特定列最常用的值

以下是示例代码，该代码中没有实现处理空值

>>> df1 = spark.createDataFrame([("Avg", "Low", "Avg")], schema=["Earning", "Age", "House size"])

>>> df1.show()
+-------+---+----------+
|Earning|Age|House size|
+-------+---+----------+
|    Avg|Low|       Avg|
+-------+---+----------+

>>> df2 = spark.createDataFrame([
    ("01", "High", "Avg", "Low", "Low"),
    ("02", "Low", "Avg", "Avg", "Avg"),
    ("03", "Avg", "Avg", "High", "High")
], schema=["Category", "Age", "House size", "Family", "Earning"])

>>> df2.show()
+--------+----+----------+------+-------+
|Category| Age|House size|Family|Earning|
+--------+----+----------+------+-------+
|      01|High|       Avg|   Low|    Low|
|      02| Low|       Avg|   Avg|    Avg|
|      03| Avg|       Avg|  High|   High|
+--------+----+----------+------+-------+

>>> df3 = df1.join(df2, ["Earning", "Age", "House size"], "left")

>>> df3.show()
+-------+---+----------+--------+------+                                        
|Earning|Age|House size|Category|Family|
+-------+---+----------+--------+------+
|    Avg|Low|       Avg|      02|   Avg|
+-------+---+----------+--------+------+

>>> list(df3.select("Category").toPandas()["Category"])
['02']