spark运行的任务往往通过web来查看,但是,当运行的是sparkStreaming任务时,日志往往会很大,web查看并不方便,因此需要定位到服务器上去看。下面将分别介绍两种查看driver端和executor端日志的方式。

一、web端日志的查看:

下面是四个yarn调度spark任务的web总界面:

查看spark任务日志的几种方式


点击第一个任务:application_1509845442132_3866  进入下面界面,右下角记录的日志其实就是driver端的日志,driver端在打了马赛克的那个节点上。

查看spark任务日志的几种方式

另外我们还可以查看executor节点上的日志。上图打开applicationMaster将跳转到spark的任务调度总界面

查看spark任务日志的几种方式

点开executor后可以看到四个executor,和一个driver。日志见右侧。stdout是自己定义println的输出日志,stderr是spark输出的规范日志。

查看spark任务日志的几种方式



二、服务器端日志查看

    sparkStreaming的任务日志往往很大,web查看并不方便。因此需要我们定位到服务器上查看。前面web可以看到那个节点是driver。driver端的日志一般在如下目录:/yarn/container-logs/

查看spark任务日志的几种方式

查看spark任务日志的几种方式

万一不知道具体在哪个目录,可以直接find下: find / -name "application_1509845442132_3866"

对应的executor日志同样用此方式在服务器上找。




相关文章:

  • 2022-12-23
  • 2021-11-04
  • 2022-12-23
  • 2022-12-23
  • 2022-01-11
  • 2021-08-08
  • 2021-12-06
  • 2021-10-29
猜你喜欢
  • 2021-09-02
  • 2021-10-26
  • 2021-12-16
  • 2021-05-21
  • 2022-12-23
相关资源
相似解决方案