Scala：使用嵌套的 json 结构转换和替换 Spark DataFrame 的值答案

【问题标题】：Scala: Transform and replace values of Spark DataFrame with nested json structureScala：使用嵌套的 json 结构转换和替换 Spark DataFrame 的值
【发布时间】：2020-12-02 07:48:44
【问题描述】：

我有一个嵌套的 json 文件，我正在读取它作为 Spark DataFrame，并且我想使用自己的转换替换某些值。

现在让我们假设它如下所示（在 this 之后）

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

// Convenience function for turning JSON strings into DataFrames.
def jsonToDataFrame(json: String, schema: StructType = null): DataFrame = {
// SparkSessions are available with Spark 2.0+
val reader = spark.read
Option(schema).foreach(reader.schema)
reader.json(sc.parallelize(Array(json)))
}

val df = jsonToDataFrame("""
 {
  "A": {
     "B": "b",
     "C": "c",
     "D": {"E": "e"
          }
        }
      }
 """)

display(df)
df.printSchema()

假设对上述 Spark DataFrame 中的某些值应用以下转换（将小写转换为大写）

import org.apache.spark.sql.functions.udf
val upper: String => String = _.toUpperCase
val upperUDF = udf(upper)

虽然这根本不起作用：

df.withColumn("A.B", upperUDF('A.B)).show()

以下作品：

val df1 = df.select("A.B")
df1.withColumn("B", upperUDF('B)).show()

但最后我想坚持我的嵌套结构并根据我的转换替换某些值。

如何实现这一目标？使用 withColumn 时如何保留架构？

【问题讨论】：

标签： json scala apache-spark user-defined-functions transformation

【解决方案1】：

最后我找到了thread，它回答了我的问题。诀窍是在转换列时动态保留模式。使用其中定义的 mutate() 函数，以下内容对我来说很好：

val df2 = mutate(df, c => if (c.toString == "A.B") upperUDF(c) else c)
val df3 = mutate(df, c => if (c.toString == "A.D.E") upperUDF(c) else c)

display(df2)
df2.printSchema

display(df3)
df3.printSchema

【讨论】：