【发布时间】：2017-10-09 09:53:08
【问题描述】：
例如，当我向 yarn cluster 提交第一个作业时，该作业正在运行，然后提交第二个作业，第二个作业状态永远不会运行，直到第一个作业完成或成功或失败。
有什么方法可以在集群模式下在 yarn 上并行运行多个 spark 作业？
【问题讨论】：
【发布时间】：2017-10-09 09:53:08
【问题描述】：
这完全取决于您的队列设置。
如果您没有使用--queue QUEUE_NAME 明确指定您的作业队列，则纱线会在默认队列中启动它，否则（如果您在指定队列中提交作业时添加参数--queue system）。
您可以在 YARN/Configs/Advanced/Scheduler（我正在使用 Ambari），参数yarn.scheduler.capacity.<queue-path>.maximum-applications 中配置队列（创建新的，设置最大应用数！，在队列之间拆分资源等）。
另请阅读https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
【讨论】：
-
我已经将 yarn.scheduler.capacity.
.maximum-applications 设置为 10 了，还是不行 -
@jasonzhang，哪个队列？尝试将 yarn.scheduler.capacity.system.maximum-applications 设置为 10 并在启动应用程序时添加 spark-submit 参数
--queue system。确保您有足够的资源来运行多个作业 -
@jasonzhang 并检查您的系统队列调度策略，它应该允许启动多个作业（尽量公平）