无法在 Spark 中爆炸（） Map [String，Struct]

Question

为此苦苦挣扎了一段时间，但我仍然无法解决这个问题。

我正在尝试 flatMap（或者使用 .withColumn 和 explode()，因为它看起来更容易，所以我不会丢失列名），但我总是收到错误 UDTF expected 2 aliases but got 'name' instead。

我已经重新审视了一些类似的问题，但由于架构过于简单，因此没有一个能说明问题。

我尝试执行 flatMap 的架构列是以下...

StructField(CarMake,
  StructType(
    List(
      StructField(
        Models,
        MapType(
          StringType,
          StructType(
            List(
              StructField(Variant, StringType),
              StructField(GasOrPetrol, StringType)
            )
          )
        )
      )
    )
  ))

我想通过像这样调用explode()来实现...

carsDS
      .withColumn("modelsAndVariant", explode($"carmake.models"))

...是在没有嵌套的 Map 和 Struct 的情况下实现 Row，因此我得到的行数与变体一样多。

输入示例

(country: Sweden, carMake: Volvo, carMake.Models: {"850": ("T5", "petrol"), "V50": ("T5", "petrol")})

示例输出

(country: Sweden, carMake: Volvo, Model: "850", Variant: "T5", GasOrPetrol: "petrol"}
(country: Sweden, carMake: Volvo, Model: "V50", Variant: "T5", GasOrPetrol: "petrol"}

基本上将嵌套的 Map 及其内部 Struct 都留在同一级别。

Answer 1

试试这个：

case class Models(variant:String, gasOrPetrol:String)
case class CarMake(brand:String, models : Map[String, Models] )
case class MyRow(carMake:CarMake)

val df = List(
  MyRow(CarMake("volvo",Map(
    "850" -> Models("T5","petrol"),
    "V50" -> Models("T5","petrol")
  )))
).toDF()

df.printSchema()

df.show()

给予

root
 |-- carMake: struct (nullable = true)
 |    |-- brand: string (nullable = true)
 |    |-- models: map (nullable = true)
 |    |    |-- key: string
 |    |    |-- value: struct (valueContainsNull = true)
 |    |    |    |-- variant: string (nullable = true)
 |    |    |    |-- gasOrPetrol: string (nullable = true)


+--------------------+
|             carMake|
+--------------------+
|[volvo, [850 -> [...|
+--------------------+

现在爆炸，注意withColumn 不起作用，因为地图上的èxplode 返回2 列（key 和value），所以你需要使用select：

val cols: Array[Column] = df.columns.map(col)

df
  .select((cols:+explode($"carMake.models")):_*)
  .select((cols:+$"key".as("model"):+$"value.*"):_*)
  .show()

给予：

+--------------------+-----+-------+-----------+
|             carMake|model|variant|gasOrPetrol|
+--------------------+-----+-------+-----------+
|[volvo, [850 -> [...|  850|     T5|     petrol|
|[volvo, [850 -> [...|  V50|     T5|     petrol|
+--------------------+-----+-------+-----------+