Spark闭包检查|闭包检查源码跟踪|序列化解决方案|序列化框架

错误

闭包检查

1. 进入foreach方法

2. 进如clean方法

3. 进入clean()中

4. 进入clean()中，判断是否是闭包 文件名包含"$anonfun$"

5. 在ClosureCleaner.scala的clean()中继续执行，到了ensureSerializable()方法

6. 进入serialize(func)方法，找到实现Javaserialize

7. 找到out.writeObject(t)

8. 进入到 out.writeObject(t)方法中，是一个抽象类，找到实现方法

9. 进入到objOut.writeObject(t)方法

10. 进入到writeObject0(obj, false)方法

11. 找到这行判断代码，可以发现会返回一个NotSerializableException(cl.getName());错误

解决方案

Driver：算子以外的代码都是在Driver端执行
Executor：算子里面的代码都是在Executor端执行

终极解决 方案 所有类前加case

序列化框架

1. Java的序列化能够序列化任何的类。但是比较重，序列化后对象的提交也比较大.
2. Spark出于性能的考虑，Spark2.0开始支持另外一种Kryo序列化机制。Kryo速度是Serializable的10倍。当RDD在Shuffle数据的时候，简单数据类型、数组和字符串类型已经在Spark内部使用kryo来序列化。
3. 即使使用kryo序列化，也要继承Serializable接口。