纱线容量调度程序并行化答案

【问题标题】：Yarn capacity-scheduler Parallelize纱线容量调度程序并行化
【发布时间】：2016-03-09 15:23:06
【问题描述】：

yarn 中的容量调度程序是否为同一用户在同一队列上并行运行应用程序。

例如：如果我们在具有相同用户的 2 个终端上有 2 个 hive CLI，并且在两个终端上启动相同的查询，它们是在默认队列上并行执行还是顺序执行。

目前，UI 显示 1 个正在运行，1 个处于挂起状态：

有没有办法并行运行？

【问题讨论】：

检查 yarn.scheduler.capacity.maximum-applications / yarn.scheduler.capacity..maximum-applications 属性 (hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-site/…) 并告诉我它是否有效跨度>
yarn.scheduler.capacity.maximum-applications10000 从一开始就是这个，所以这个参数确实没有帮助

【解决方案1】：

Yarn capacity scheduler 以先进先出的方式对同一队列中提交的作业运行作业。例如，如果 hive cli 都为默认队列提交，那么首先能够保护资源的将进入运行状态，其他将等待（仅当队列中没有足够的资源时）。

如果你想要并行执行 1）您可以在不同的队列中运行其他作业。您可以在纱线上启动作业时定义队列名称。 2）您需要以某种方式定义资源，以便两个作业都可以根据需要获取资源。

【讨论】：