Hadoop FairScheduler 的高级内部数据结构和算法？

Question

简而言之，Hadoop FairScheduler 的内部结构是什么？ 他们是否使用优先队列、堆来确定每个作业等待的时间？ 还是使用了其他技术？

Answer 1

一个好的起点是paper，它描述了公平调度器。它详细描述了算法，并为不同类型的工作提供了基准。简短的总结是，它试图通过在大型作业之前或旁边运行小型作业来增加整体集群吞吐量。在某种程度上，您可能会将其描述为优先级队列，但它更复杂，因为它试图放置数据或机架本地的任务，并且需要做出不同的权衡。大多数调度程序最好被认为是最小化算法，因为它试图减少完成一些任意工作块所需的时间。