一、HDFS读取文件操作: 
HDFS读写策略

客户端发起读文件请求,向NameNode发送请求(当然还有第二个NameNode),由于NameNode存放着DataNode的信息,比如说数据块的存放信息等,所以NameNode会向客户端返回元数据,这些元数据包含了数据块的信息等。客户端得到元数据后直接去读取数据块,实现了文件的读取。

二、HDFS写文件操作: 
HDFS读写策略

客户端得到文件后将文件进行分块,这些分块的数据信息会写入NameNode,同时复制到SecondaryNameNode ,然NameNode会告诉客户端DataNode的情况,比如该如何写啊,哪个数据块放在哪等等。客户端得到这些信息后就向DataNode开始写数据(以数据块的格式),然后DataNode会以流水线方式复制,因为要保证数据有3份嘛,这些操作完成之后会把DataNode的最新信息反馈到NameNode。再有数据来的时候按照上述过程流式进行。

相关文章:

  • 2022-01-02
  • 2022-12-23
  • 2021-08-21
  • 2022-02-09
  • 2021-04-24
  • 2021-05-01
  • 2022-12-23
猜你喜欢
  • 2021-11-28
  • 2021-12-19
  • 2021-07-14
  • 2022-12-23
  • 2021-10-10
  • 2021-12-09
  • 2022-12-23
相关资源
相似解决方案