HashMap 的 Kryo 反序列化使用 Spark 失败答案

【问题标题】：Kryo deserialization of HashMap fails with SparkHashMap 的 Kryo 反序列化使用 Spark 失败
【发布时间】：2016-06-22 09:56:49
【问题描述】：

我有一个 Java 类，它有几个 String 字段和一个 HashMap 字段。我正在使用默认的 Kryo 序列化序列化此类的对象并将它们存储在 HBase 中。

在内存中读取它们后，Spark 中 RDD 的flatMap 函数中的反序列化会产生以下错误。虽然如果不涉及 Spark，相同的代码段也可以工作。

    16/06/22 11:13:05 WARN TaskSetManager: Lost task 20.0 in stage 3.0 (TID 85, localhost): com.esotericsoftware.kryo.KryoException: Unable to find class: Dadaisme
    at com.esotericsoftware.kryo.util.DefaultClassResolver.readName(DefaultClassResolver.java:138)
    at com.esotericsoftware.kryo.util.DefaultClassResolver.readClass(DefaultClassResolver.java:115)
    at com.esotericsoftware.kryo.Kryo.readClass(Kryo.java:610)
    at com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:721)
    at com.esotericsoftware.kryo.serializers.MapSerializer.read(MapSerializer.java:126)
    at com.esotericsoftware.kryo.serializers.MapSerializer.read(MapSerializer.java:17)
    at com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:729)
    at prSpark.EmPageRank$1.call(EmPageRank.java:227)
    at prSpark.EmPageRank$1.call(EmPageRank.java:1)
    at org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$3$1.apply(JavaRDDLike.scala:149)
    at org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$3$1.apply(JavaRDDLike.scala:149)
    at scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: Dadaisme
    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:340)
    at com.esotericsoftware.kryo.util.DefaultClassResolver.readName(DefaultClassResolver.java:136)
    ... 22 more

这里来自堆栈跟踪com.esotericsoftware.kryo.KryoException: Unable to find class: Dadaisme 它说“Dadisme”类未找到，但“Dadisme”不是我程序中的任何类，它是 HashMap 字段中的数据。

【问题讨论】：

我也遇到过类似的问题。就我而言，HashMap 很大，> 400K 条目。我认为这是由于处理大型集合时 kryo 中的错误。后来，我为我的用例切换到了 jackson。
我不认为问题是因为 HashMap 大小在我的情况下是 1000 左右。

标签： java serialization apache-spark deserialization kryo

【解决方案1】：

由于用于序列化和反序列化的 Kyro 库的版本差异而发生此异常。 Spark 默认使用 Kryo 版本 2，我使用 Kryo 的最新版本（即 3.x）进行对象序列化。所以序列化和反序列化版本应该匹配。

【讨论】：