【问题标题】:How to route group to queue to specific yarn queue via ambari?如何通过ambari将组路由到特定的纱线队列?
【发布时间】:2020-06-17 09:33:20
【问题描述】:

我可以使用 ambari 成功地将用户路由到特定队列。我用于用户的语法是:

u:hive:prod

但是,我无法为一个团队做这件事。

我用于组的语法是:

g:datascience:dev

在边缘节点上,我有一个名为datascience 的组,其中包含用户scientist

$ groups scientist
scientist : scientist datascience

当我向该用户(例如,insert into default.routingtest values (0, "test"))发送直线命令时,我收到以下错误消息:

INFO : Dag 提交失败,原因是 org.apache.hadoop.yarn.exceptions.YarnException:提交失败 用户科学家提交的应用程序application_1592385599162_0001 原因:未找到用户科学家的群组 在 org.apache.hadoop.yarn.server.resourcemanager.placement.UserGroupMappingPlacementRule.getPlacementForApp(UserGroupMappingPlacementRule.java:210) 在 org.apache.hadoop.yarn.server.resourcemanager.placement.PlacementManager.placeApplication(PlacementManager.java:67) 在 org.apache.hadoop.yarn.server.resourcemanager.RMAppManager.placeApplication(RMAppManager.java:791) 在 org.apache.hadoop.yarn.server.resourcemanager.RMAppManager.createAndPopulateNewRMApp(RMAppManager.java:368) 在 org.apache.hadoop.yarn.server.resourcemanager.RMAppManager.submitApplication(RMAppManager.java:320) 在 org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.submitApplication(ClientRMService.java:645) 在 org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.submitApplication(ApplicationClientProtocolPBServiceImpl.java:277) 在 org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:563) 在 org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524) 在 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025) 在 org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876) 在 org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822) 在 java.security.AccessController.doPrivileged(本机方法) 在 javax.security.auth.Subject.doAs(Subject.java:422) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) 在 org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)

是什么导致了这个错误,我该如何解决?

【问题讨论】:

    标签: hadoop hadoop-yarn


    【解决方案1】:

    问题是用户和组在集群的所有机器上都不存在。确保用户和组确实存在于所有机器上。

    【讨论】:

      猜你喜欢
      • 2012-04-22
      • 2018-04-12
      • 2016-02-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-08-02
      • 1970-01-01
      相关资源
      最近更新 更多