在调度程序池上提交 Spark 作业答案

【问题标题】：Submitting Spark Job On Scheduler Pool在调度程序池上提交 Spark 作业
【发布时间】：2019-02-26 06:51:26
【问题描述】：

我正在集群模式下运行火花流作业，我创建了一个内存为 200GB(CDH) 的池。我想在那个池上运行我的 spark 流式传输作业，我尝试设置

sc.setLocalProperty("spark.scheduler.pool", "pool")

在代码中，但它不起作用，我也尝试了 spark.scheduler.pool seems not working in spark streaming，每当我运行作业时，它都会进入默认池。可能的问题是什么？提交作业时我可以添加任何配置吗？

【问题讨论】：

标签： apache-spark spark-streaming cloudera-cdh job-scheduling

【解决方案1】：

在纱线中我们可以添加

--conf spark.yarn.queue="que_name" 到spark-submit 命令。然后它将仅使用该特定队列及其资源。

【讨论】：

【解决方案2】：

我在使用 Spark 2.4 时遇到了同样的问题。在我的例子中，通过删除我的 Spark 配置中的默认“spark.scheduler.pool”选项解决了这个问题。

我将此问题追溯到 Spark 中的一个错误 - https://issues.apache.org/jira/browse/SPARK-26988。问题是，如果您在基本配置中设置配置属性“spark.scheduler.pool”，则无法使用 setLocalProperty 覆盖它。从基本配置中删除它使其正常工作。有关详细信息，请参阅错误描述。

【讨论】：