HDFS读数据流程图
hadoop HDFS 读数据流程
1)客户端向 namenode 请求下载文件,namenode 通过查询元数据,找到文件块所在的 datanode地址。

2)挑选一台 datanode(就近原则,然后随机)服务器,请求读取数据。

3)datanode 开始传输数据给客户端(从磁盘里面读取数据放入流,以 packet 为单位来做校验)。

4)客户端以 packet 为单位接收,先在本地缓存,然后写入目标文件。

相关文章:

  • 2021-10-08
  • 2021-05-28
  • 2021-09-29
  • 2021-11-10
  • 2021-11-01
猜你喜欢
  • 2021-03-31
  • 2021-06-20
  • 2022-01-03
  • 2022-01-04
  • 2021-10-23
  • 2021-09-02
相关资源
相似解决方案