【问题标题】:Spark dataframe convert all the columns into json format and then modify json structureSpark数据框将所有列转换为json格式,然后修改json结构
【发布时间】:2020-06-02 13:54:43
【问题描述】:

使用 df.toJSON 将我的数据框转换为 json

json 转换后的架构如下所示:

root
 |-- value: string (nullable = true)

使当前架构(即所有根级别属性;在本例中为“值”列)嵌套到新的根级别 json 键(称为“数据”)并在根级别添加新属性的最佳方法是什么.如何在scala中实现这一点。

【问题讨论】:

    标签: scala dataframe apache-spark apache-spark-sql


    【解决方案1】:

    请检查以下代码。

    scala> df.toJSON.select(struct($"value").as("data")).printSchema
    root
     |-- data: struct (nullable = false)
     |    |-- value: string (nullable = true)
    
    

    【讨论】:

      猜你喜欢
      • 2021-10-05
      • 1970-01-01
      • 2020-01-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-07-04
      • 2017-07-12
      相关资源
      最近更新 更多