需要在 Scala 中将 Json 转换为 DataFrame

Question

这里是需要转换的JSON

{
  "name": "Jon",
    "tags":[
            {
                "1": "San Jose",
                "2": "California",
                "3": 1987
            },
            {   
                "1": "University Ave",
                "2": "Princeton",
                "3": 1990
            }
    ]
}

需要转换成DataFrame，像这个

Name  1               2            3
Jon   SanJose         California   1987
Jon   Univesity Ave   Princeton    1990

谁能帮我解开这个谜语。谢谢！！

Answer 1

正如我在 cmets 中所说，Spark supports JSON paring out of the box - 你不需要任何外部库。

Spark，会自动推断文件的架构，但不会自动展平数据...
您需要在您的程序中执行此操作。

这是一个简单示例，说明如何使用 typed Dataset。
（注意：JSON 文件应每行包含一个文档，如文档）。
（另外，请注意我将这些字段重命名为 a、b 和 c，因此它们是有效的 Scala 标识符）。

import org.apache.spark.sql.{SparkSession, Encoder}

final case class Nested(name: String, tags: List[Tag])
final case class Tag(a: String, b: String, c: Int)
final case class Flattened(name: String, a: String, b: String, c: Int)

val spark = SparkSession.builder.master("local[*]").getOrCreate()
import spark.implicits._

val nestedEncoder: Encoder[Nested] = implicitly
val nestedSchema = nestedEncoder.schema

val nestedDS =
  spark
    .read
    .option(key = "charset", value = "UTF-8")
    .schema(nestedSchema)
    .json(path = "path")
    .as[Nested](nestedEncoder)

val flattenedDS = for {
  nested <- nestedDS
  tag <- nested.tags
} yield Flattened(nested.name, tag.a, tag.b, tag.c)
// flattenedDS: Dataset[Flattened] = [name: string, a: string, b: string, c: integer]

flattenedDS.printSchema()
// root
//  |-- name: string (nullable = true)
//  |-- a: string (nullable = true)
//  |-- b: string (nullable = true)
//  |-- c: integer (nullable = false)

flattenedDS.show()
// +----+--------------+----------+----+
// |name|             a|         b|   c|
// +----+--------------+----------+----+
// | Jon|      San Jose|California|1987|
// | Jon|University Ave| Princeton|1990|
// +----+--------------+----------+----+