【发布时间】：2016-04-15 08:34:09
【问题描述】：
使用纱线上的火花 - 我看不到防止安排并发作业的方法。我有我的架构设置来进行纯粹的批处理。
我需要这个，原因如下：
- 资源限制
- 用于 spark 的 UserCache 增长非常快。运行多个作业会导致缓存空间爆炸。
理想情况下，我很想看看是否有一个配置可以确保任何时候在 Yarn 上只运行一个作业。
【问题讨论】：
【发布时间】：2016-04-15 08:34:09
【问题描述】：
您可以运行创建一个队列，该队列只能托管一个应用程序主机并在该队列上运行所有 Spark 作业。因此，如果一个 Spark 作业正在运行，另一个将被接受，但它们不会被调度和运行，直到正在运行的执行完成......
【讨论】：
-
我正在使用 HortonWorks 的 HDP。我看到正在使用一个队列，但看不到如何配置它以确保只运行一个。关于寻找哪个配置的任何提示？
-
您可以在此处找到 Hortonworks 关于队列管理的一些文档 (docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/…)。如您所见，队列的其中一项设置是允许的最大应用程序数...
终于找到了解决方案——在 yarn 文档中：必须将 yarn.scheduler.capacity.max-applications 设置为 1 而不是 10000。
【讨论】：