如何覆盖两个数据帧以获得如下结果

Question

我通过 pyspar 有两个数据帧 DF1 和 DF2。我想要如下输出：

DF1

Id|field_A   |field_B   |field_C |field_D
1 |cat       |12        |black   |1
2 |dog       |128       |white   |2

DF2

Id|field_A|field_B|field_C
1 |cat    |13     |blue

需要输出：

DF3

Id|field_A|field_B|field_C|field_D
1 |cat    |13     |blue   |1
2 |dog    |128    |white  |2

我已经尝试过加入概念，但它不能通过下面的加入工作。

'inner', 'outer', 'full', 'fullouter', 'full_outer', 'leftouter', 'left'、'left_outer'、'rightouter'、'right'、'right_outer'、 'leftsemi'、'left_semi'、'leftanti'、'left_anti'、'cross'

DF3 = DF2.join(DF1, DF1.ID == DF2.ID,"leftouter")

Answer 1

首先，您必须为 Dataframes 声明别名：

val a = df1.as("a")
val b = df2.as("b")

用未更新的列创建一个数组

val columnsNotUpdated =
        Seq(col("a.Id").as("Id"), col("a.field_D").as("field_D"))

用更新的列创建一个数组，并使用when来查看它是否与数据框b交叉（b.Id不为空），如果交叉，则选择数据框'b'的值

 val columnsUpdated = a.columns
        .filter(x => !Array("Id", "field_D").exists(_ == x))
        .map(x =>
          when(col("b.Id").isNotNull, col(f"b.$x").as(x))
            .otherwise(col(f"a.$x").as(x)))

最后，加入'left_outer'并选择列

a.join(b, col("a.Id") === col("b.Id"), "left_outer")
        .select(columnsNotUpdated.union(columnsUpdated): _*)

所有代码都是：

val a = df1.as("a")
      val b = df2.as("b")

      val columnsNotUpdated =
        Seq(col("a.Id").as("Id"), col("a.field_D").as("field_D"))

      val columnsUpdated = a.columns
        .filter(x => !Array("Id", "field_D").exists(_ == x))
        .map(x =>
          when(col("b.Id").isNotNull, col(f"b.$x").as(x))
            .otherwise(col(f"a.$x").as(x)))

      a.join(b, col("a.Id") === col("b.Id"), "left_outer")
        .select(columnsNotUpdated.union(columnsUpdated): _*)