3、HDFS架构和YARN架构
HDFS 架构图
HDFS 服务功能
NameNode
NameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
DataNode
DataNode在本地文件系统存储文件块数据，以及块数据的校验和。
Secondary NameNode
Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
YARN 架构图
YARN 服务功能
ResourceManager
- 处理客户端请求；
- 启动/监控ApplicationMaster;
- 监控NodeManager;
- 资源分配与调度
ApplicationMaster
- 数据切分；
- 为应用程序申请资源，并分配给内部任务；
- 任务监控与容错
NodeManager
- 单个节点上的资源管理；
- 处理来自ResourceManager的命令；
- 处理来自ApplicationMaster的命令
Container
- 对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息