1.配置(core-site.xml)

<property>
  <name>hadoop.http.staticuser.user</name>
  <value>hdfs</value>
</property>

 

2.发现8041端口无法查看日志(8041 是服务node manager拥有),而log 写入的用户是hdfs 所属组是supergroup

 

3.hadoop master 或者slave 的linux中都没有supergroup组

 

注意:cdh5.5.2 默认已经开启日志聚合功能

资料显示:History Server 在Job运行时,日志的显示直接从本地文件读取,在运行结束且聚合日志到hdfs中,会有专门的服务从hdfs读取并且渲染

  (中间会有跳转,判断对应的containner 是否存在,如果存在说明job还在运行,日志还没有聚合,如果不存在,说明日志已经聚合到hdfs,所以需要从hdfs读取)

 

处理:

groupadd supergroup

usermod -a -G supergroup yarn

usermod -a -G supergroup mapred

在每个节点上执行

相关文章:

  • 2021-07-14
  • 2021-09-01
  • 2021-08-20
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-10-13
猜你喜欢
  • 2021-05-29
  • 2021-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-09-30
  • 2022-01-11
  • 2022-12-23
相关资源
相似解决方案