Yarn的流程简单图示

  • Resource Manager:全局资源管理器,一个集群只有一个RM。负责和AM(Application Master)交互,资源调度、资源分配等工作。
  • Application Master:应用程序的管理器,类似项目经理,一个应用程序只有一个AM。负责任务开始时找RM要资源,任务完成时向RM注销自己,释放资源;与NM通信以启动/停止任务;接收NM同步的任务进度信息。
  • Node Manager:一台机器上的管理者,类似于部门经理。管理着本机上若干小弟Containers的生命周期、监视资源和跟踪节点健康并定时上报给RM;接收并处理来自AM的Container启动/停止等各种请求。
  • Container:一台机器上具体提供运算资源,将设备上的内存、CPU、磁盘、网络等资源封装在一起的抽象概念——“资源容器”,Container是一个动态资源分配单位,为了限定每个任务使用的资源量。
  • Attempt:提交到Yarn中的应用程序被称为Application,它可能会尝试运行多次,每次的尝试运行称为“Application Attempt”,如果一次尝试运行失败,则由RMApp创建另一个继续运行,直至达到失败次数的上限。

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-10-30
  • 2021-05-07
  • 2021-11-06
  • 2021-04-23
  • 2021-12-27
  • 2021-07-15
猜你喜欢
  • 2021-12-19
  • 2021-07-10
  • 2021-10-17
  • 2021-08-14
  • 2021-11-06
  • 2021-10-28
  • 2021-12-26
相关资源
相似解决方案