HDFS的读数据流程,如图

HDFS读数据流程

1)客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。

2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据

3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。

4)客户端以Packet为单位接收,先在本地缓存,然后写入目标文件

相关文章:

  • 2021-06-04
  • 2021-04-05
  • 2021-09-15
  • 2021-07-28
  • 2021-08-27
  • 2021-06-21
猜你喜欢
  • 2021-10-08
  • 2021-06-28
  • 2021-11-09
  • 2021-12-15
相关资源
相似解决方案