使用 Scala 和 Spark 将数组列的行与另一个数据帧的标题进行比较

Question

我正在使用 Scala 和 Spark。 我有两个数据框。

第一个如下：

+------+------+-----------+
| num1 | num2 |    arr    |
+------+------+-----------+
|   25 |   10 | [a,c]     |
|   35 |   15 | [a,b,d]   |
+------+------+-----------+

在第二个中，数据帧头是

num1, num2, a, b, c, d

我通过添加所有可能的标题列创建了一个案例类。

现在我想要的是，通过匹配列 num1 和 num2，我必须检查是否 arr 列中的数组包含第二个数据帧的标题。 如果是这样，则该值应为 1，否则为 0。

所以需要的输出是：

+------+------+---+---+---+---+
| num1 | num2 | a | b | c | d |
+------+------+---+---+---+---+
|   25 |   10 | 1 | 0 | 1 | 0 |
|   35 |   15 | 1 | 1 | 0 | 1 |
+------+------+---+---+---+---+

Answer 1

如果我理解正确，您希望将数组列 arr 转换为每个可能值一列，其中包含数组是否包含该值。

如果是这样，您可以像这样使用array_contains 函数：

val df = Seq((25, 10, Seq("a","c")), (35, 15, Seq("a","b","d")))
             .toDF("num1", "num2", "arr")

val values = Seq("a", "b", "c", "d")
df
    .select(Seq("num1", "num2").map(col) ++
            values.map(x => array_contains('arr, x) as x) : _*)
    .show

+----+----+---+---+---+---+
|num1|num2|  a|  b|  c|  d|
+----+----+---+---+---+---+
|  25|  10|  1|  0|  1|  0|
|  35|  15|  1|  1|  0|  1|
+----+----+---+---+---+---+