使用YARN命令管理Hadoop作业

　　　　　　　　　　　使用YARN命令管理Hadoop作业

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

一.YARN命令概述

　　如下图所示，Hadoop的yarn命令可以管理YARN的各个方面。虽然ResourceManager Web UI非常有用，但当不能使用Web UI时，就需要使用命令来处理问题。

　　Hadoop的yarn命令具有广泛的使用范围，从某种意义上来说，它可以帮助我们管理大量的Hadoop任务，例如获取和杀死正在运行的应用程序，获取作业和守护程序日志，甚至管理ResourceManager的上下线。

　　可以使用yarn命令从命令行监视和管理应用程序。例如，可以使用"yarn application -list running"命令查看正在运行的作业的状态。

　　同样，可以使用"yarn application -kill <Application ID>"命令从命令行正常删除正在运行的应用程序，而不是使用Linux kill命令杀死进程。

使用YARN命令管理Hadoop作业

　　最好用的yarn命令是application子命令，它允许快速查看某个时间点的集群时间点的使用情况。

　　如下图所示，yarn top命令提供了有关"正在运行(running)","已提交(submitted)","待定(pending)","已完成(completed)","已终止(killed)","失败(failed)"的摘要信息，还显示为集群的足有作业分配的内存量和CPU内核量。

使用YARN命令管理Hadoop作业

　　本篇博客的重点是监控和管理集群，我们需要了解如何使用yarn命令监控YARN集群。

　　通过该命令可以查看基本作业信息并执行其他任务，例如"yarn application -kill application_1604218163813_0003"来杀死Application ID为"application_1604218163813_0003"正在运行的Job。

　　使用"yarn application"命令可以执行以下管理任务:
　　　　(1)列出集群中运行的应用程序;
　　　　(2)杀死正在运行的应用程序;
　　　　(3)获取正在运行的应用程序的状态;

二.查看YARN应用程序

1>."yarn application -list"命令

　　如下图所示，可以使用"yarn application -list"命令，立即查看集群中的所有应用程序(我们称为作业，YARN称为应用)。

[root@hadoop101.yinzhengjie.com ~]# yarn application -list 
20/11/01 17:06:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
20/11/01 17:06:30 INFO client.RMProxy: Connecting to ResourceManager at hadoop101.yinzhengjie.com/172.200.6.101:8032
Total number of applications (application-types: [], states: [SUBMITTED, ACCEPTED, RUNNING] and tags: []):2
                Application-Id        Application-Name        Application-Type          User         Queue                 State           Final-State           Progress                 
          Tracking-URLapplication_1604218163813_0007              word count               MAPREDUCE          root    root.yinzhengjie.operation.op_queue01               RUNNING             UNDEFINED         
       50%    http://hadoop104.yinzhengjie.com:8705application_1604218163813_0008              word count               MAPREDUCE          root    root.yinzhengjie.development              ACCEPTED             UNDEFINED                 
0%                                    N/A[root@hadoop101.yinzhengjie.com ~]# 
[root@hadoop101.yinzhengjie.com ~]#

[root@hadoop101.yinzhengjie.com ~]# yarn application -list