纱线容量调度程序中的内部队列抢占答案

【问题标题】：Intra Queue Preemption in yarn Capacity scheduler纱线容量调度程序中的内部队列抢占
【发布时间】：2019-08-06 02:49:13
【问题描述】：

我正在使用 hadoop 2.9.2 在纱线中进行队列内抢占。我的队列间抢占工作正常，我已设置此处显示的这两个参数：https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.1.0/data-operating-system/content/properties_for_configuring_intra-queue_preemption.html 但队列内抢占仍然不起作用。任何线索都会有所帮助。

【问题讨论】：

如何测试队列内抢占？
我创建了一个队列并提交了一个优先级为 20 的作业。然后我提交了一份优先级为 30 的工作。我正在本地测试这两个作业在队列中占用了三个可用容器。然后我提交了一个优先级为 40 的作业，但是该作业正在等待这两个中的一个完成。在我看来，它应该立即从其他两个容器中抢占一些容器，最好是 20 个。

【解决方案1】：

根据您的 cmets，您应该使用较低的数字表示较高的优先级，因为第 1 优先级总是比第 20 优先级更重要。

优先级
整数
表示预留优先级的整数。较低的优先级数字表示较高的优先级预留。定期预订的优先级始终高于非定期预订。非重复预订的优先级仅与非重复预订进行比较。定期预订也是如此。

如果您深入挖掘，您会在YARN-4945: [Umbrella] Capacity Scheduler Preemption Within a queue 所附的设计文档中找到它，该文档描述了此功能。

【讨论】：