如何使用 Scala 的 DataFrame 比较表中的每一列

Question

有两个表；一个是ID表1，另一个是属性表2。

表 1

表 2

如果表 1 中同一行的 ID 具有相同的属性，则我们得到数字 1，否则我们得到 0。最后，我们得到结果表 3。

表 3

例如id1和id2有不同的颜色和大小，所以id1和id2行（表3中的第2行）有“id1 id2 0 0”；

id1和id3颜色相同，大小不同，所以id1和id3行（表3第3行）有“id1 id3 1 0”；

相同的属性---1 不同的属性---0

如何使用 Scala 数据框获得结果表 3？

Answer 1

这应该可以解决问题

import spark.implicits._

val t1 = List(
  ("id1","id2"),
  ("id1","id3"),
  ("id2","id3")
).toDF("id_x", "id_y")

val t2 = List(
  ("id1","blue","m"),
  ("id2","red","s"),
  ("id3","blue","s")
).toDF("id", "color", "size")

t1
  .join(t2.as("x"), $"id_x" === $"x.id", "inner")
  .join(t2.as("y"), $"id_y" === $"y.id", "inner")
  .select(
    'id_x,
    'id_y,
    when($"x.color" === $"y.color",1).otherwise(0).alias("color").cast(IntegerType),
    when($"x.size" === $"y.size",1).otherwise(0).alias("size").cast(IntegerType)
  )
  .show()

导致：

+----+----+-----+----+
|id_x|id_y|color|size|
+----+----+-----+----+
| id1| id2|    0|   0|
| id1| id3|    1|   0|
| id2| id3|    0|   1|
+----+----+-----+----+

Answer 2

这里是使用UDF 的方法，它可以帮助您理解代码的重复以及如何最小化代码以提高性能

import spark.implicits._

val df1 = spark.sparkContext.parallelize(Seq(
    ("id1", "id2"),
    ("id1","id3"),
    ("id2","id3")
  )).toDF("idA", "idB")

val df2 = spark.sparkContext.parallelize(Seq(
  ("id1", "blue", "m"),
  ("id2", "red", "s"),
  ("id3", "blue", "s")
)).toDF("id", "color", "size")

val firstJoin = df1.join(df2, df1("idA") === df2("id"), "inner")
  .withColumnRenamed("color", "colorA")
  .withColumnRenamed("size", "sizeA")
  .withColumnRenamed("id", "idx")

val secondJoin = firstJoin.join(df2, firstJoin("idB") === df2("id"), "inner")

val check = udf((v1: String, v2:String ) => {
  if (v1.equalsIgnoreCase(v2)) 1 else 0
})

val result = secondJoin
  .withColumn("color", check(col("colorA"), col("color")))
  .withColumn("size", check(col("sizeA"), col("size")))

val finalResult = result.select("idA", "idB", "color", "size")

希望这会有所帮助！