Spark Scheduler 强制应用程序运行

Question

当有多个应用程序在同一个集群上提交给 spark 时，spark 以先进先出的方式对它们进行排序，并且在前一个完成之前无法启动任何作业。我试图找到一种方法让应用程序跳过队列并成为下一个在调度程序中运行的应用程序。有没有办法做到这一点？我在文档或用户界面中找不到任何内容。

Answer 1

结果证明，如果在第一个应用程序/作业之后启动单个应用程序或作业，则不能强制它先于另一个应用程序或作业开始。

但是，您应该确保在集群中正确设置队列，这样您的队列就不会争夺执行者。在这种情况下，其中一个队列能够使用多达 100% 的 spark 执行器总数。在该队列中，由于其应用程序/作业中的一些错误，火花作业已排队等待并且未处理。因为运行它的队列可以访问多达 100% 的执行器，所以之后的每个作业，无论它们在哪个队列中，都必须等待它完成才能运行，并且它会积压整个集群。