如何在pyspark中加入具有多个重叠的两个数据框

Question

您好，我有一个包含多个家庭的数据集，其中家庭中的所有人都在两个数据源之间进行了匹配。因此，数据框由一个“家庭”列和两个人列（每个数据源一个）组成。但是有些人（例如下面的 Jonathan 或 Peter）无法匹配，因此第二人称栏为空白。

Household	Person_source_A	Person_source_B
1	Oliver	Oliver
1	Jonathan
1	Amy	Amy
2	David	Dave
2	Mary	Mary
3	Lizzie	Elizabeth
3	Peter

由于数据框很大，我的目标是对不匹配的个人进行抽样，然后输出一个包含家庭中所有人员的 df，其中只有抽样不匹配的人存在。即说我的随机样本包括 Oliver 但不包括 Peter，那么我只会在输出中包含家庭 1。

我的问题是我已过滤以获取样本，但现在无法取得进展。 join、agg/groupBy... 的某种组合会起作用，但我很挣扎。我在采样的不匹配名称中添加了一个标志来识别它们，我认为这很有帮助...

我的代码：

# filter to unmatched people
df_unmatched = df.filter(col('per_A').isNotNull()) & col('per_B').isNull())

# take random sample of 10%
df_unmatched_sample = df_unmatched.sample(0.1)

# add flag of sampled unmatched persons
df_unmatched_sample = df_unmatched.withColumn('sample_flag', lit('1'))

Answer 1

根据您的意图：

我只想减少我的数据框，只显示 存在不匹配的人的家庭 从所有不匹配的人中随机抽取一个样本

使用您现有的方法，您可以在样本记录的Household 上使用连接

# filter to unmatched people
df_unmatched = df.filter(col('per_A').isNotNull()) & col('per_B').isNull())

# take random sample of 10%
df_unmatched_sample = df_unmatched.sample(0.1).select("Household").distinct()

desired_df = df.join(df_unmatched_sample,["Household"],"inner")

编辑 1

回应 op 的评论：

是否有一种稍微不同的方式来保存一个标志来识别 抽样不匹配的人（因为有些家庭拥有超过 一个无与伦比的人）？

将标志列添加到样本后，对现有数据集进行左连接可能会帮助您实现此目的，例如：

# filter to unmatched people
df_unmatched = df.filter(col('per_A').isNotNull()) & col('per_B').isNull())

# take random sample of 10%
df_unmatched_sample = df_unmatched.sample(0.1).withColumn('sample_flag', lit('1'))

desired_df = (
    df.alias("dfo").join(
        df_unmatched_sample.alias("dfu"),
        [
            col("dfo.Household")==col("dfu.Household") , 
            col("dfo.per_A")==col("dfu.per_A"),
            col("dfo.per_B").isNull()
        ],
        "left"
    )
)