HDFS的架构:是有主节点(NameNode)从节点(DateNode) 辅助节点(SecondNode)

2018-3-7 HDFS架构

每一个block至少在不同的DN上有三个副本

注意:  同一个DN的节点上不允许有相同的block

备份====副本的区别????

答:

不等于

备份:是不要求同步的

副本:是分布在不同的“存储上的”上的需要相互同步的,是相互为副本之间是同级别的,没有主从关系,就是那个存储空闲访问那个


主节点NameNode的组成------元数据

2018-3-7 HDFS架构

SecondNode的作用是辅助主节点完成HDFS的更新

2018-3-7 HDFS架构

SNN的合并过程

(1)首先产生新的edit文件,因为用户逇访问是不间断的,而第二部是要将edit和fsimage拷贝的

*(2)拷贝edit和fsimage文件到SNN中

(3)合并拷贝的edit文件和fsimage文件产生fsimage.ckpt文件

(4)将产生的fsimage.ckpt文件传输到NN中替换fsimage文件

(5)2018-3-7 HDFS架构

DataNode(DN)

存储数据(Block
启动DN线程的时候会向NN汇报block信息
通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收
DN的心跳,则认为其已经lost,并copy其上的block到其它DN
2018-3-7 HDFS架构

(1)因为DN会每3秒发送一个心跳数据给NN的所以NN只带那个DN是空闲的

HDFS的写过程

2018-3-7 HDFS架构

HDFS的读操作

2018-3-7 HDFS架构


相关文章: