HDFS的写机制

HDSF的读写机制
1、客户端(clend)发送一个请求给NameNode,请求写入一个文件
2、NameNode查看客户端是否有权限写入文件,并且查看是否已经储存了此文件,如果客户端有权限,NameNode返回给客户端一个响应,如果没有,就抛会给客户端一个异常
3、客户端接受到响应后,按照128M的大小把文件切成一个一个的Block块,然后再发送给NameNode,等待NameNode返回存放的目录和地址
4、NmaeNode通过负载均衡机制,给客户端返回满足其副本数量和存放的目录和地址。
5、客户端根据Name返回的目录和地址,建立管道,将各目录连接起来。
6、客户以Packet传输到第一个DotaNode上,当传输完成后,第一个DotaNode就把这个Packet复制,并且将这个复制出来的Packet通过管道传输到下一个DotaNode,第二个继续复制,重复第一个的操作,直到最后一个DotaNode传输完成。
7、当最后一个Packet传输完成后,从最后一个依次从管道返回ACK,最后将一个ACK列表返回给客户端。
8、客户端内部会保存一个ACK列表,客户端将返回的ACK列表和自己保存的ACK列表对比,只要有一她爱DotaNode写入成功,就认为这次操作完成了。
9、当一个Block完成以后就会开始下一个Block的操作,循环3-8DE 操作

我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:

HDFS的读机制

HDSF的读写机制
1、客户端发送一个请求给NameNode,请求写入一个文件
2、NameNode查看客户端是否有权限读文件,并且查看是否储存了此文件,如果客户端有权限,NameNode返回给客户端一个响应,如果没有,就抛会给客户端一个异常
3、客户端接受到响应后,向NmaeNode发出请求,告诉需要读的文件
4、给客户端返回该客户端需要读取为文件存放的目录和地址。
5、客户端会和返回的列表中距离自己最近的一台建立连接,读取其中的Block块。读取的时候会将Block块统计目录下的校验信息,一起读取过来。
6.客户端读取完Block块信息以后,会计算出一个校验和跟读取过来的校验和进行对比,如果能匹配上,就说明正确。如果匹配不上,就从其他节点上读取Block块。

相关文章:

  • 2022-01-23
  • 2021-10-05
  • 2022-12-23
  • 2021-12-04
  • 2021-05-07
  • 2021-10-13
  • 2021-12-23
猜你喜欢
  • 2021-12-04
  • 2021-08-23
  • 2021-10-11
  • 2021-05-11
  • 2022-12-23
  • 2022-01-29
  • 2021-08-23
相关资源
相似解决方案