YARN JobHistory 错误：容器重定向失败答案

【问题标题】：YARN JobHistory Error : Failed redirect for containerYARN JobHistory 错误：容器重定向失败
【发布时间】：2014-10-09 00:03:02
【问题描述】：

我们最近使用 CDH 5 (2.3.0-cdh5.1.3) 部署了 YARN，集群正在运行文件，作业也在运行。但是如果作业完成（成功/失败），我们无法从资源管理器 UI 访问日志，我们会收到以下错误

Failed redirect for container_1412716537481_0322_01_000001
Failed while trying to construct the redirect url to the log server. Log Server url may not be configured
Container does not exist.

运行作业也有一些例外：

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=mapred, ac
cess=READ, inode="/user/history/done_intermediate/xyz/job_1412716537481_0426-1412782860181-xyz-PigLatin%3ACategory+li
ft+for+pixels%3A9259-1412782882528-1-1-SUCCEEDED-root.brianfemiano-1412782867082.jhit":xyz:supergroup:-rwxrwx---
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:257)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:185)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5607)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5589)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPathAccess(FSNamesystem.java:5551)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsUpdateTimes(FSNamesystem.java:1717)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsInt(FSNamesystem.java:1669)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsUpdateTimes(FSNamesystem.java:1717)         [1804/1922]
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsInt(FSNamesystem.java:1669)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:1649)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:1621)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:482)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServe
rSideTranslatorPB.java:322)

hdfs://user/history/ 的适当权限是什么？

有人遇到同样的问题吗？

【问题讨论】：

标签： hadoop hadoop-yarn hadoop2 hortonworks-data-platform cloudera-cdh

【解决方案1】：

我认为您的集群是安全的（启用了 Kerberos），对于安全环境中的 HTTP 身份验证，您需要设置以下参数。参考 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/ds_Hadoop/hadoop-project-dist/hadoop-common/HttpAuthentication.html

-阿伦沃玛

【讨论】：

不，我们没有任何安全/kerberos，我认为它与 YARN 权限更相关。