【问题标题】:Is there a way to remove a sub-attribute from a json column through spark sql有没有办法通过spark sql从json列中删除子属性
【发布时间】:2023-01-11 17:17:13
【问题描述】:

我有一个表,其中有包含嵌套 json 数据的列。需要通过 spark sql 从那个 json 中删除一个属性

检查了基本的 spark json 函数,但没有办法做到这一点

【问题讨论】:

    标签: json apache-spark-sql attributes edit unselect


    【解决方案1】:

    假设您读入一个 json 文件并打印您向我们展示的模式,如下所示:

    val df = sqlContext.read().json("/path/to/file").toDF();
        df.registerTempTable("df");
        df.printSchema();
    

    然后你可以像这样在结构类型中选择嵌套对象......

    val app = df.select("app");
            app.registerTempTable("app");
            app.printSchema();
            app.show();
    
    val appName = app.select("element.appName");
            appName.registerTempTable("appName");
            appName.printSchema();
            appName.show();
    
    val trimmedDF = appName.drop("firstname")
    

    希望这可以帮助。

    【讨论】:

      猜你喜欢
      • 2022-11-06
      • 1970-01-01
      • 2021-12-12
      • 2018-04-28
      • 2023-04-11
      • 1970-01-01
      • 1970-01-01
      • 2020-03-26
      • 2020-02-27
      相关资源
      最近更新 更多