将一个项目在服务器上启动提交给hadoop集群的任务上出错了,改如何调试?

总结下:如何去找错的思路。整体围绕: 数据、模型、代码三个方面。此处提下查看代码出错问题。

在服务器启动脚本,如sh train.sh后,通常会在log目录下,有运行脚本对应的log信息文件,如train_20200827.log,用vim 打开log,信息中大概60行上下会有对应application的监控hadoop的监控面板,类似

The url to track the job: http://yz70210.hadoop.data.sina.com.cn:9008/proxy/application_1594195336447_10990716/  。将http的链接复制到浏览器中,便可以看到对应application的信息,查看任务失败的节点信息 。如图

Hadoop集群找错bug流程

会弹出失败的节点信息如:

Hadoop集群找错bug流程

进一步点击里面,去查看logs里的详细的报错信息

往下拉,可以看到具体是代码哪个地方出错了

Hadoop集群找错bug流程

 

 

 

相关文章: