Java 序列化 vs Hadoop 序列化 vs Spark 序列化

Question

我参与了Java 的Serialization 和Deserialization 进程，并试图理解Hadoop 和Spark 的相同过程。

谁能告诉我Hadoop、Spark和Java的序列化过程的区别。

Answer 1

Hadoop 有自己的序列化接口（Writable），旨在使产生的垃圾尽可能少。当 mapper 或 reducer 运行时，实现它的对象是可变的和重用的，从而进一步降低了垃圾量。设计合理的 Writables 也可以由不同版本的代码编写，解决了 Serializable 固有的问题。

Spark 没有自己的序列化，默认使用原生 java 序列化。它的性能不是很好，并且可以使 spark 使用Kryo，这有时会带来 10 倍的性能提升。但是，在使用 Kryo 时，所有自定义类都应在运行作业之前在 SparkConf 中注册。