YARN概念:是hadoop的资源管理和任务调度的分布式框架
主节点ResourceManager:
- 管理整个集群的资源(CPU和内存)
- 接收Client提交的应用
从节点NodeManager：
运行在YARN集群上的每个应用，YARN会为之启动对应的应用管理者ApplicationMaster,用于管理这个应用的运行情况
- 应用中Task资源申请
- 监控Task运行状况
- Task运行失败需要进行调度和处理
YARN服务功能
ResourceManager,简称RM
- 处理客户端请求
- 启动并监控ApplicationMaster
- 监控NodeManager
- 资源分配与调度
ApplicationMaster，简称AM
- 数据切分
- 为应用程序申请资源并分配内部任务
- 任务监控与容错
NodeManager
- 单个节点的资源管理
- 处理来自RM的命令
- 处理来自AM的命令
Container
- 任务运行环境容器：封装了CPU、内存等多维资源、环境变量、启动命令等任务运行相关的信息
相关文章：
-
2022-12-23
-
2021-05-31
-
2022-01-07
-
2021-07-15
-
2022-12-23
-
2021-05-24
-
2021-12-05
-
2021-11-25
猜你喜欢
-
2022-01-21
-
2021-11-22
-
2021-11-16
-
2021-06-02
-
2021-08-25
-
2021-06-19
-
2021-12-16
相关资源
-
下载
2023-02-07
-
下载
2022-12-03
-
下载
2023-01-05
-
下载
2022-12-20