Pig Map减少失败，权限被拒绝

【问题标题】：Pig Map reduce failing with permission deniedPig Map减少失败，权限被拒绝
【发布时间】：2016-07-24 17:06:45
【问题描述】：

我尝试使用该链接启用历史服务器，我只能在 hdfs dis -mkdir -p /app-logs 之前启用它，因为这失败了，我无法继续。

现在，当我运行创建 map reduce 的 pig 脚本时，它失败并出现以下错误。任何想法？当我说 ls -l /mr-history/ 时，它也说没有这样的文件或目录。

原因：

org.apache.hadoop.security.AccessControlException: 权限拒绝： user=mapred, access=READ, inode="/mr-history/tmp/hdfs/job_1459806783854_0001-1459807556718-hdfs-PigLatin%3ADefaultJobName-1459807582179-1-1-SUCCEEDED-default-1459807564263.jhist":hdfsat:hdfs:-rwxrx--- org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)

【问题讨论】：

标签： hadoop mapreduce apache-pig

【解决方案1】：

您必须使用操作系统用户mapred 执行您的命令，该用户只有文件/目录的读取权限

权限被拒绝：user=mapred，access=READ

您应该尝试使用hdfs 用户，因为它具有读/写访问权限

org.apache.hadoop.security.AccessControlException: 权限被拒绝: user=mapred, access=READ, inode="/mr-history/tmp/hdfs/job_1459806783854_0001-1459807556718-hdfs-PigLatin%3ADefaultJobName-1459807582179-1- 1-SUCCEEDED-default-1459807564263.jhist":hdfs:hdfs:-rwxrwx---在

如果您在 hdfs 节点上具有 sudo/root 权限，您还可以为其他用户chmod 文件/目录。

【讨论】：

您好，感谢您的回答。我只用 hdfs 用户运行它，但我相信 Mapred 用户总是启动 map reduce 作业，这就是它失败的原因，我给了用户权限，现在它工作正常。