HDFS读数据流程图
1)客户端向 namenode 请求下载文件,namenode 通过查询元数据,找到文件块所在的 datanode地址。
2)挑选一台 datanode(就近原则,然后随机)服务器,请求读取数据。
3)datanode 开始传输数据给客户端(从磁盘里面读取数据放入流,以 packet 为单位来做校验)。
4)客户端以 packet 为单位接收,先在本地缓存,然后写入目标文件。
HDFS读数据流程图
1)客户端向 namenode 请求下载文件,namenode 通过查询元数据,找到文件块所在的 datanode地址。
2)挑选一台 datanode(就近原则,然后随机)服务器,请求读取数据。
3)datanode 开始传输数据给客户端(从磁盘里面读取数据放入流,以 packet 为单位来做校验)。
4)客户端以 packet 为单位接收,先在本地缓存,然后写入目标文件。
相关文章: