大数据Haoop之HDFS的SN合并原理

SN合并方式有两种:
SN主动通知NN,合并fsimage和edits
当edits文件到达我们设置的大小时,NN与SN通信,进行合并

edits.new文件:
1.标记上一次操作是完整结束的
2.在edits与fsimage合并期间,负责记录用户新的操作的指令

三个服务节点发生故障的情况:
NN:集群无法使用
SN:无法完成合并工作,edits会一直变大,在服务器接受的范围内,可以正常使用,超过承受范围,无法使用
DN:由NN将发生故障的DN上的元文件的所有副本复制到其他的DN,前提是DN能够接受的数据大小要大于最大的副本数

合并的原理:
1.当edits文件到达相应的大小时,NN与SN通信,请求合并
2.在合并前,edits生成edits.new文件
3.在SN中,SN将edits与fsimage进行合并,产生一个新的文件:fsimage.ckpt
4.在合并完成以后,fsimage.ckpt返回到NN
5.在NN中,将原来的edits和fsimage删除
6.NN将edits.new重命名为edits,fsimage.ckpt重命名为fsimage
7.此次合并结束,等待下次合并,一直循环

相关文章:

  • 2021-10-12
  • 2021-12-29
  • 2021-11-20
  • 2021-09-30
  • 2021-07-17
  • 2021-07-28
  • 2021-08-02
猜你喜欢
  • 2021-06-19
  • 2021-10-02
  • 2021-12-12
  • 2021-04-20
  • 2021-07-09
  • 2021-03-27
相关资源
相似解决方案