【发布时间】:2023-01-11 17:17:13
【问题描述】:
我有一个表,其中有包含嵌套 json 数据的列。需要通过 spark sql 从那个 json 中删除一个属性
检查了基本的 spark json 函数,但没有办法做到这一点
【问题讨论】:
标签: json apache-spark-sql attributes edit unselect
我有一个表,其中有包含嵌套 json 数据的列。需要通过 spark sql 从那个 json 中删除一个属性
检查了基本的 spark json 函数,但没有办法做到这一点
【问题讨论】:
标签: json apache-spark-sql attributes edit unselect
假设您读入一个 json 文件并打印您向我们展示的模式,如下所示:
val df = sqlContext.read().json("/path/to/file").toDF();
df.registerTempTable("df");
df.printSchema();
然后你可以像这样在结构类型中选择嵌套对象......
val app = df.select("app");
app.registerTempTable("app");
app.printSchema();
app.show();
val appName = app.select("element.appName");
appName.registerTempTable("appName");
appName.printSchema();
appName.show();
val trimmedDF = appName.drop("firstname")
希望这可以帮助。
【讨论】: