HDFS的组件:

Client,NameNode,Seconday NameNode,DataNote

HDFS的架构图:

图片截取来源:Hadoop技术内幕:深入解析MapReduce架构设计与实现原理

HDFS(分布式文件系统)的架构

HDFS的组件流程详解:

Client:通过与NameNode和DataNode交互访问HDFS文件,POSIX系统接口提供给用户。

NameNode:负责HDFS的目录树与元数据信息;元数据信息已fsimage 和editlog存储在本地磁盘,NameNode负责监控各个DataNode的健康状态,一旦发现某个DataNode宕机,则移除该DataNode并重新备份当前节点中的数据。

Secondary Namenode:定期合并fsimage和edits日志并传输给NameNode。

DataNode:负责实际的数据存储,定期汇报给NameNode,已Block为单位,默认64M。

相关文章: