Spark中序列化的概述是什么

Question

也许对 Spark 有更多经验的人可以帮助解决以下与序列化相关的问题：:)

以下是否是对 Spark 中发生的序列化路径之一的准确描述：

• RDD --> Bytestream (Java/Kryo)
• Dataset --> Bytestream (Encoders)

在这个talk 关于RDD、Dataframe 和Dataset 在spark 中，据说RDD 仍然是Spark 中发挥作用的基本数据结构，因此甚至Datasets 都建立在RDD

该语句应该如何解释？是不是表示Dataset的序列化路径是：

Dataset -->(encoders) RDD --> Bytestream(Java/kryo)

或者编码器是否也可以将 RDD 转换为字节流？

Answer 1

首先，RDD 和 Dataset 都没有作为一个整体进行序列化。正确的说法是在RDD[T] 和Dataset[T] 中，T 类型的每个元素都被序列化了。

Dataset 建立在RDDs 上的声明意味着Dataset 只是为了方便和优化的抽象。并且每当触发对 Dataset 的计算时 - 在应用优化后，Datasets 转换将转换为 RDD 转换。

我不能确定它在 spark 中究竟是如何工作的——可能只有写过这个的开发人员才能回答这个问题，或者可以花一些时间研究 spark 源的人，但假设是，如果我们有 Dataset[T] 的转换：

1. 只要数据存储在任何地方 - 它都使用Encoders 进行编码
2. 转换图基于 RDD[Array[Byte]]，因为 1。

Dataset[T] --(encoders)--> RDD[Array[Byte]]

希望有帮助！