对象引用上的 Spark 序列化答案

【问题标题】：Spark serialization on object reference对象引用上的 Spark 序列化
【发布时间】：2017-02-28 12:33:52
【问题描述】：

Dose Spark 序列化为每个对象引用生成对象？

我有一个工作，所有行都引用一个大对象，实际上因为都是对象引用，所以整体数据不超过1G。但是在缓存坏事的同时发生了（the partition is too large to save）。

Java 序列化preserving object reference by id.
Spark 是相同的还是它具体化（爆炸！）所有参考？我找不到有关此的文件，但我认为应该有。

【问题讨论】：

【解决方案1】：

这不是您应该针对大对象提出的问题，但与涉及小对象和引用相等的某些情况相关。

【讨论】：