第一步:写入数据

图解: HDFS数据的完整性

第二步:进行首次校验和,得到数值70

图解: HDFS数据的完整性

第三步:读取数据时,仍然会校验和,得到数据70

图解: HDFS数据的完整性

第四步:对比两次较校验和的值

如两次读取的值都是70,则开始读取数据
如两次读取的值不一致,说明此节点数据丢失,则去其他节点读取数据

图解: HDFS数据的完整性

总结一下:

1.数据在写入之后进行校验和的计算,DataNode周期性的进行校验和计算,将计算结果与第一次进行对比,若相同表示无数据丢失,若不相同表示有数据丢失,丢失后将进行数据修复

2.数据读取之前对数据进行校验,与第一次的结果进行对比,若相同表示数据没有丢失,可以读取,若不相同表示数据有所丢失,到其他副本读取数据

相关文章:

  • 2021-06-03
  • 2021-06-10
  • 2021-04-11
猜你喜欢
  • 2021-07-11
  • 2022-12-23
  • 2021-12-13
  • 2021-06-07
相关资源
相似解决方案