HDFS读写流程详解
一、hfdfs写数据流程
- 客户端通过Distributed FileSystem模块向NameNode请求上传文件。
- NameNode检查目标文件路径父目录是否存在，目标文件是否存在。如果父目录不存在或目标文件已存在，会抛异常。确定可以上传，NameNode会寻找3个空闲的datanode节点，返回一个列表[DN1,DN2,DN3]
注：上传文件时要求指定父目录下的目标文件不存在 - 客户端通过FSDataOutputStream模块请求DN1上传数据，建立Pipeline连接，DN1收到请求会继续调用DN2，然后DN2调用DN3，将整个Piprline通信管道建立完成。
- DN1、DN2、DN3逐级应答客户端。
- 客户端开始往DN1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet（64KB）为单位，DN1收到一个packet就会传给DN2，DN2传给DN3。
注：DN1 每传一个 packet 会放入一个应答队列等待应答。 - 当一个block传输完成之后，客户端再次请求NameNode上传第二个block的服务器。（重复执行2-5步）
二、hfdfs读数据流程
- 首先调用FileSystem.open()方法，获取到DistributedFileSystem实例
- DistributedFileSystem向Namenode发起RPC(远程过程调用)请求获得文件的开始部分或全部block列表，对于每个返回的块，都包含块所在的DataNode地址。这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离，然后再进行排序。如果客户端本身就是一个DataNode，那么他将从本地读取文件。
- DistributedFileSystem会向客户端client返回一个支持文件定位的输入流对象FSDataInputStream，用于客户端读取数据。FSDataInputStream包含一个DFSInputStream对象，这个对象用来管理DataNode和NameNode之间的I/O
- 客户端调用read()方法，DFSInputStream就会找出离客户端最近的datanode并连接datanode
- DFSInputStream对象中包含文件开始部分的数据块所在的DataNode地址，首先它会连接包含文件第一个块最近DataNode。随后，在数据流中重复调用read()函数，直到这个块全部读完为止。如果第一个block块的数据读完，就会关闭指向第一个block块的datanode连接，接着读取下一个block块
- 如果第一批block都读完了，DFSInputStream就会去NameNode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。
注：read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是返回Client请求包含块的DataNode地址，并不是返回请求块的数据。最终读取来所有的 block 会合并成一个完整的最终文件。