带有 Hive 操作的 Oozie 工作流因权限问题而失败答案

【问题标题】：Oozie workflow with Hive action failed with permission issue带有 Hive 操作的 Oozie 工作流因权限问题而失败
【发布时间】：2015-07-15 20:06:24
【问题描述】：

我们有一个运行 HDP 2.2.0.0 的 Hadoop 集群。

我们有另一个运行 HDP 2.2.4.2 的 Hadoop 集群。

我们有一个带有 Hive 操作的 Oozie 工作流，它在第一个使用 HDP 2.2.0.0 的集群上运行良好。

但同样的工作流在运行 HDP 2.2.4.2 的第二个集群中失败，并出现以下错误：

38098 [main] INFO  org.apache.hadoop.hive.ql.Driver  - Starting task [Stage-4:MOVE] in serial mode
2015-07-15 16:23:22,810 INFO  [main] ql.Driver (Driver.java:launchTask(1604)) - Starting task [Stage-4:MOVE] in serial mode
38099 [main] INFO  org.apache.hadoop.hive.ql.exec.Task  - Moving data to: hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10000 from hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10002
2015-07-15 16:23:22,811 INFO  [main] exec.Task (SessionState.java:printInfo(824)) - Moving data to: hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10000 from hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10002
40129 [main] ERROR hive.ql.metadata.Hive  - Unable to move using hadoop distcp,  source hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10002 to destination hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10000 using command: /usr/bin/hadoop distcp  hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10002 hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10000
2015-07-15 16:23:24,841 ERROR [main] metadata.Hive (Hive.java:renameFile(2444)) - Unable to move using hadoop distcp,  source hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10002 to destination hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10000 using command: /usr/bin/hadoop distcp  hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10002 hdfs://master-1.local:8020/tmp/hive/cloudfeeds/00f8edac-8b5a-4dfa-9115-5a915acabee0/hive_2015-07-15_16-22-49_023_841777402951025944-1/-ext-10000
40129 [main] ERROR hive.ql.metadata.Hive  - Exit value for hadoop distcp command 255

在日志的更下方，我们有这个错误：

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=yarn, access=EXECUTE, inode="/tmp/hive/cloudfeeds":cloudfeeds:hdfs:drwx------

我检查了上面目录的权限：/tmp/hive/cloudfeeds。两个集群具有相同的权限 700 和所有者 cloudfeeds。

我检查了 map reduce 作业日志，两个集群都有这些：

user.name=yarn
mapreduce.job.user.name=cloudfeeds

我不想只关闭 dfs.permissions。我也不想将权限 777 授予目录 /tmp/hive/cloudfeeds，我确信这会导致作业成功运行。

任何想法我应该如何调试这个问题，更重要的是如何解决这个问题？

【问题讨论】：

您是否尝试将/tmp/hive/cloudfeeds的权限设置为770并将yarn用户添加到hdfs组中？

标签： hadoop mapreduce hive oozie hortonworks-data-platform

【解决方案1】：

我通过将其添加到 hive-site.xml 解决了权限问题：

  <property>
    <name>hive.scratch.dir.permission</name>
    <value>777</value>
    <description>The permission for the user specific scratch directories that get created.</description>
  </property>

【讨论】：