【发布时间】：2016-08-16 23:31:47
【问题描述】：
首先是一点背景。 我有一个测试 CDH 集群，有两个节点。我正在尝试执行 Oozie 作业，下载文件，使用 SPARK 处理它，然后在 Solr 中对其进行索引。
集群配置为使用 Kerberos 身份验证。 CDH版本是5.7.1
当我尝试使用 Oozie 运行作业时，使用以下命令：
oozie job --oozie https://host:11443/oozie/ -run --config oozieExample/job.properties
它失败并出现以下异常：
2016-08-12 12:29:40,415 WARN org.apache.oozie.action.hadoop.JavaActionExecutor: SERVER[it4364-cdh01.novalocal] USER[centos] GROUP[-] TOKEN[] APP[stackOverflow] JOB[0000012-160808110839555-oozie-clou-W] ACTION[0000012-160808110839555-oozie-clou-W@Download_Current_Data] Exception in check(). Message[JA017: Could not lookup launched hadoop Job ID [job_1470672690566_0027] which was associated with action [0000012-160808110839555-oozie-clou-W@Download_Current_Data]. Failing this action!]
org.apache.oozie.action.ActionExecutorException: JA017: Could not lookup launched hadoop Job ID [job_1470672690566_0027] which was associated with action [0000012-160808110839555-oozie-clou-W@Download_Current_Data]. Failing this action!
at org.apache.oozie.action.hadoop.JavaActionExecutor.check(JavaActionExecutor.java:1277)
at org.apache.oozie.command.wf.ActionCheckXCommand.execute(ActionCheckXCommand.java:182)
at org.apache.oozie.command.wf.ActionCheckXCommand.execute(ActionCheckXCommand.java:56)
at org.apache.oozie.command.XCommand.call(XCommand.java:286)
at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
通过快速的 Google 搜索，这似乎是在作业历史服务器未运行或无法检测到作业的中间目录时发生的。
在历史目录上执行ls 命令时，我得到以下信息：
[hdfs@it4364-cdh01 ~]$ hadoop fs -ls /user/history
Found 2 items
drwxrwx--- - mapred hadoop 0 2016-08-12 10:36 /user/history/done
drwxrwxrwt - mapred hadoop 0 2016-08-12 12:29 /user/history/done_intermediate
没关系，我猜。理论上，mapred 用户应该是历史文件夹的所有者，基于 CDH 文档。
但是，当我检查 done_intermediate 的内容时：
[hdfs@it4364-cdh01 ~]$ hadoop fs -ls /user/history/done_intermediate
Found 1 items
drwxrwx--- - centos hadoop 0 2016-08-12 12:29 /user/history/done_intermediate/centos
这意味着用户centos（执行Oozie 作业的人）是该目录的所有者。这可以防止作业历史服务器读取文件，将作业标记为已完成，然后 Oozie 将其标记为失败。日志说明了这一点：
<ommited for brevity>
...
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=mapred, access=READ_EXECUTE, inode="/user/history/done_intermediate/centos":centos:hadoop:drwxrwx---
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
...
<ommited for brevity>
如果我更改历史文件夹中所有内容的所有权，使用hadoop fs -ls -R /user/history，历史服务器会识别该作业并将其标记为已完成。
我尝试以 mapred 用户身份运行作业，更改作业的 .properties 文件，但是，这也失败了，现在因为 mapred 用户没有权限在 HDFS 内的/users 文件夹上写入，所以它看来这不是正确的解决方案。
是否有一些配置可以避免历史文件夹中centos和mapred之间的用户冲突？
提前致谢
【问题讨论】：
-
如果
mapred用户确实是hadoop组的成员，则此设置应该有效。您可以尝试为mapred@YOUR.REALM创建一个Kerberos 票证，然后运行hdfs groups来确定吗？ -
谢谢@SamsonScharfrichter。我有两个问题。首先，用于 Kerberos 的 Active Directory 上不存在 mapred 用户。其次，用户不在正确的组中。修复后，作业运行没有问题。您可以将此评论作为答案发布，以便我接受吗？