火花纱线集群的权限问题答案

【问题标题】：Permission issue with spark yarn cluster火花纱线集群的权限问题
【发布时间】：2015-11-11 07:51:41
【问题描述】：

我在 HDP 2.1 集群上安装了 spark 1.5.1 进程。它使用 hadoop 2.4.0，当驱动程序尝试写入给定的 Hive 表时，我遇到了权限被拒绝的问题。

提交作业的用户是 gvp_service，在作业期间，它的工作人员可以使用 gvp_service 权限进行写入，但是在与元存储交互时，我收到以下异常：

原因：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)：权限被拒绝：user=yarn，access=WRITE，inode="/apps/hive/warehouse/gbic_video_video。 db/gbic_video_video_raw_users/global_op_id=1000/service_type=1/day=2015-09-15":gvp_service:hdfs:drwxr-xr-x 在 org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:265)

为什么要使用 yarn 用户来完成这项任务？是不是因为使用了Hadoop客户端2.4.0？

【问题讨论】：

标签： apache-spark hadoop-yarn

【解决方案1】：

您可以检查作业是作为哪个用户提交的吗？要与 hive 交互，您应该在 $SPARK_INSTALL_DIR/conf 中包含以下内容的“hive-site.xml”

<configuration>
<property>
  <name>hive.metastore.uris</name>
  <!-- Ensure that the following statement points to the Hive Metastore URI in your cluster -->
  <value>thrift://<METASTORE IP>:9083</value>
  <description>URI for client to contact metastore server</description>
</property>
</configuration>

希望对你有帮助

【讨论】：