在 Spark Scala 中编写嵌套 JSON

Question

我的 Spark-SQL 正在通过连接两个具有一对多基数的表来生成查询输出。我必须将数据转换为 JSON。 这就是查询输出的样子。

Address_id_parent | Address_id_child | Country_child | city_child
1                 |      1           |     India     |    Delhi
1                 |      1           |     US        |    NewYork
1                 |      1           |     US        |    NewJersey

以上数据都要这样转成JSON。

{
    "Address": {
        "Address_id_parent": "1"
    },
    "Address-details": [{
        "Address_id_child": "1",
        "location": [{
                 "country":"India",
                 "city":"Delhi",
                },
                {
                 "country":"US",
                 "city":"NewYork",
                },
                {
                 "country":"US",
                 "city":"NewJersey",
                }
                ]
    }]
}

我怎样才能做到这一点？

Answer 1

用json检查Dataframe写入接口：

df.write.format("json").save(path)