如果 spark.executor.instances 和 spark.cores.max 不起作用，如何在 Spark Standalone 模式下增加执行器的数量答案

【问题标题】：How to increase the number of executors in Spark Standalone mode if spark.executor.instances and spark.cores.max aren't working如果 spark.executor.instances 和 spark.cores.max 不起作用，如何在 Spark Standalone 模式下增加执行器的数量
【发布时间】：2016-05-18 20:20:09
【问题描述】：

我到处找，但找不到我需要的答案。我在独立模式下运行 Spark 1.5.2，SPARK_WORKER_INSTANCES=1 因为我只希望每个主机的每个工作人员有 1 个执行程序。我想要的是增加我的工作的主机数量，从而增加执行者的数量。我尝试在 spark-defaults.conf 中更改 spark.executor.instances 和 spark.cores.max，仍然看到相同数量的执行程序。人家建议改--num-executors，是不是和spark.executor.instances不一样？

这篇 Cloudera 博客文章 http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/ 说“--num-executors 命令行标志或 spark.executor.instances 配置属性控制请求的执行器数量。从 CDH 5.4/Spark 1.3 开始，您将能够通过打开来避免设置此属性使用 spark.dynamicAllocation.enabled 属性进行动态分配” 但我不确定 spark.dynamicAllocation.enabled 是否仅适用于 YARN。

非常感谢任何有关如何为 Spark 1.5.2 执行此操作的建议！

【问题讨论】：

标签： apache-spark pyspark

【解决方案1】：

我认为您不需要设置SPARK_WORKER_INSTANCES！如果你想使用它，你需要设置SPARK_WORKER_CORES环境变量，否则你最终会得到一个消耗所有内核的worker。因此，其他worker无法正常启动！

我没有看到spark.executor.instances在YARN Configuration with Spark之外使用

也就是说，我肯定会建议使用 --num-executors 让您的集群有多个工作人员！

【讨论】：