【问题标题】:Spark dataframe convert all the columns into json format and then modify json structureSpark数据框将所有列转换为json格式,然后修改json结构
【发布时间】:2020-06-02 13:54:43
【问题描述】:
使用 df.toJSON 将我的数据框转换为 json
json 转换后的架构如下所示:
root
|-- value: string (nullable = true)
使当前架构(即所有根级别属性;在本例中为“值”列)嵌套到新的根级别 json 键(称为“数据”)并在根级别添加新属性的最佳方法是什么.如何在scala中实现这一点。
【问题讨论】:
标签:
scala
dataframe
apache-spark
apache-spark-sql
【解决方案1】:
请检查以下代码。
scala> df.toJSON.select(struct($"value").as("data")).printSchema
root
|-- data: struct (nullable = false)
| |-- value: string (nullable = true)