在 Spark 2.X 中如何使用 Kyro

Question

请您帮助澄清以下项目：

• Kyro 是否用于持久化 RDD/Dataframe。当我们在persist中选择pass MEMORY_AND_DISK_SER时。
• 如果是 OFF_HEAP，则使用 Tunsten 方法或使用 Kyro。

Answer 1

Kyro 是否用于持久化 RDD/Dataframe。当我们在persist中选择pass MEMORY_AND_DISK_SER时。

• RDD - 是的。
• DataFrame / Dataset - 否，已使用 Encoders.kryo 序列化的字段除外

在 OFF_HEAP 的情况下，使用 Tunsten 方法或正在使用 Kyro。

没有。

总结一下 - Kryo 从未在 Dataset API 中用于存储。