CDH下的spark日志文件查询

如果算法文件的日志过大，通过web页面太慢了，通过文件查询就快的多了。

1、spark的日志文件位置：

因为是用yarn提交的计算任务，所以日志是在yarn的容器中记录的。

/yarn/container-logs

2、找到之前的算法任务：

日志文件所在的节点。

3、进入该节点：

可以看到对应容器日志目录

4、查看具体的日志

cat 命令来查看stderr文件，就可以查找具体的信息了，比在web页面上看要速度快多了。