伪分布式HDFS以及读写流程

HDFS写流程

伪分布式HDFS以及读写流程

先找到一个namenode节点,切分文件block,

按照block线性和namenode获取刘表和副本数量,

验证datanode裂表之后,利用一个输出流,把分好快的输出流往其中一个datanode上面写(文件四份,先写第一份,2.3.4.。。)

在写的同时会形成一个管道,一块一块的会立刻同步到其他的datanode上面

block传输完成结束后,datanode跟namenode汇报block的信息,dn想客户端汇报完成,然后客户端像namenode汇报完成

流水线可参照官网:http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Replication_Pipelining

伪分布式HDFS以及读写流程

 

HDFS读流程

伪分布式HDFS以及读写流程

打开一个连接连接到dfs上面直接到namenode上面,

获取一个文件block块的位置信息,然后根据位置信息通过输入流去读取数据

在block副本列表中按照距离优先选取

相关文章: