概述
Spark的Storage模块负责RDD(persist或cache)、Shuffle中间结果、Broadcast变量的存储及管理。
设计
组件
Storage模块抽象出BlockManager，提供公有的putXXX、getXXX方法供其他模块调用而无需关心其实现细节，BlockManager实现涉及的其他主要class如下(按原始数据和元数据管理分)
| BlockStore | 以block为单位存储数据，具体实现有三，DiskStore、MemoryStore、ExternalBlockStore，分别对应磁盘存储、内存存储和外部存储 |
| BlockManagerMaster | 内部维护了BlockManagerMasterEndpoint的引用，用于给BlockManagerMasterEndpoint发送消息，如注册BlockManager、更新BlockInfo、获取BlockStatus |
另外一部分，StorageLevel和BlockManagerMessages的作用如下
| StorageLevel | BlockStore存储介质有三种(磁盘、内存、外部)，使用哪种或哪几种通过StorageLevel设置 |
| BlockManagerMessages | Storage模块是分布式存储，各节点间通信需要协议，BlockManagerMessages充当类似报文的功能 |
拓扑
从Driver和Executor底层通信的角度看，Storage的拓扑结构如下
Driver和Executor各自使用的组件及功能如下
| Driver | BlockManagerMasterEndpoint(RpcEndpoint) | 管理数据的元数据信息 |
| BlockManagerSlaveEndpointRef(RpcEndpointRef) | BlockManagerSlaveEndpoint的引用，用于和Executor节点的BlockManagerSlaveEndpoint通信，查询block的状态信息，以及发送删除数据的命令给Executor | |
| BlockTransferService | 基于Netty，提供block下载以及从其他节点下载block功能 | |
| Executor | BlockManagerMasterEndpointRef(RpcEndpointRef) | BlockManagerMasterEndpoint的引用，用于和Driver节点的BlockManagerMasterEndpoint通信，向其注册自身及上报block相关元数据信息 |
| BlockManagerSlaveEndpoint(RpcEndpoint) | 提供block的状态查询，以及删除本节点存储的RDD、Shuffle中间结果、Broadcast变量功能 | |
| BlockTransferService | - |
BlockManager概要
BlockManager是Storage模块的基础，其他模块使用BlockManager实例存储及获取数据，无需关心底层分布式存储的细节，其类图如下
如上图，我列出了BlockManager的部分属性和方法，并对方法进行了简单分类，可以看出，公有的方法基本为get和put相关，后续会按照上图中的类别逐个分析其实现。
总结
介绍Storage模块的设计思路及BlockManager的概要。