如何在 spark scala 中使用数据集设置数组的类型

Question

我有这样的源数据：

{A:123,B:"Hello world",C:[{D:123,E:"Spark"}]}

我有一个对象：

case class TestClass (A:Int;B:String;C:???)
val obj:Dataset[TestClass] = df.as[TestClass]

我应该如何定义C的类型？

Answer 1

一个选项

case class Nested(D: Long, E: String)
case class TestClass (A: Long, B:String, C: Seq[Nested])

用法：

spark.read.json(sc.parallelize(
  Seq("""{"A": 123, "B": "Hello world", "C": [{"D": 123, "E": "Spark"}]}"""
))).as[TestClass].show

+---+-----------+-------------+
|  A|          B|            C|
+---+-----------+-------------+
|123|Hello world|[[123,Spark]]|
+---+-----------+-------------+