Spark：爆炸一对嵌套列

Question

Spark 2.1 版

我正在将文件读入 Spark dataframe，格式如下：

{
    "field1": "value1",
    "field2": "value2",
    "elements": [{
        "id": "1",
        "name": "a"
    },
    {
        "id": "2",
        "name": "b"
    },
    {
        "id": "3",
        "name": "c"
    }]
}

它包含一个array的嵌套元素，现在我想explodeelements数组来获得扁平的json结构。我正在使用以下代码：

var dfExploded = df
    .withColumn("id", 
      explode(df.col("elements.id")))
    .withColumn("name",
      explode(df.col("elements.name")));

它似乎正在返回笛卡尔积（例如，我在结果中得到 9 个元素，而我只想要 3 个）。有什么方法可以为explode 函数指定一对嵌套列？

Answer 1

如果我理解正确，你会希望你可以试试这个：

 val exploded = df.withColumn("elements", explode($"elements"))
 exploded.show()
 >> +--------+------+------+
 >> |elements|field1|field2|
 >> +--------+------+------+
 >> |   [1,a]|value1|value2|
 >> |   [2,b]|value1|value2|
 >> |   [3,c]|value1|value2|
 >> +--------+------+------+

这第一步基本上将数组转换为单独的记录。您需要对数组本身（元素）而不是里面的元素进行操作

接下来你可以做

 val flattened = exploded.select("elements.*", "field1", "field2")
 flattened.show()
 >> +---+----+------+------+
 >> | id|name|field1|field2|
 >> +---+----+------+------+
 >> |  1|   a|value1|value2|
 >> |  2|   b|value1|value2|
 >> |  3|   c|value1|value2|
 >> +---+----+------+------+

扁平化元素