Spark kryo 序列化寄存器 Datatype[]

【问题标题】：Spark kryo serialization register Datatype[]Spark kryo 序列化寄存器 Datatype[]
【发布时间】：2016-12-15 18:31:45
【问题描述】：

要强制 spark 使用 kryo 序列化，可以设置以下选项spark.kryo.registrationRequired。

如何注册org.apache.spark.sql.types.DataType[]？

Class is not registered: org.apache.spark.sql.types.DataType[]

这是抛出异常。但是尝试像classOf[org.apache.spark.sql.types.DataType[]] 这样注册将无法编译

【问题讨论】：

【解决方案1】：

我对 java 和 scala 数组表示法感到困惑。

classOf[Array[org.apache.spark.sql.types.DataType]]

是正确的注册。

不过，这是一个 spark 内部类，应该已经被 spark 注册了。

【讨论】：