版本 hadoop3.x yarn3.x
这几周一直发生yarn任务积压的情况
积压情形如下
yarn只用了一点点资源
hadoop stream 任务全部积压 卡住不动
查看web ui 很多未申请到的资源
但是container 资源却只有8192mb 1c
hadoop stream 提交的job都如此
查看详细情形 发现map结束之后 reduce 几乎没有进行 全部卡住 集群里其他的任务没有什么问题 只有stream 任务会出现这种情况
空闲资源很多 但是就是申请不到
和开发同事沟通 开发同事说没有配置相关参数 直接提交的任务 排查了contain yarn resource manger 日志 都没有什么进展
资源分配也正常
因为任务咬死了8g1c的配置 去配置里查找到底哪里配置了 这个参数
查来查去 只查到 AM配置了这个
于是修改
重启 任务执行成功 再无积压 但是会影响到别的任务执行 故跑完之后重新调整了一个合适的参数
yarn.app.mapreduce.am.resource.mb
yarn.app.mapreduce.am.resource.cpu-vcores
虽然问题解决了 但是不知道为什么会获取这里的参数作为任务的资源 有待大神解答