【发布时间】：2020-06-04 20:44:42
【问题描述】：
我将 --num-executor 与 EMR spark-submit 一起使用，但 conf 没有得到兑现。即使我将其设置为--num-executor 1，该作业也会与多个执行者一起运行。我尝试了不同的 EC2 实例类型，默认运行的执行器数量似乎因实例类型而异。
【问题讨论】：
标签： apache-spark amazon-ec2 amazon-emr spark-submit
【发布时间】：2020-06-04 20:44:42
【问题描述】：
我猜动态分配是活跃的。您必须在 spark 配置中禁用此参数或发送 spark-submit 行，如下所示：
spark-submit --conf spark.dynamicAllocation.enabled=false --class ...
【讨论】：
-
感谢您为我指明正确的方向。它适用于两种情况：1：
--conf spark.dynamicAllocation.enabled=false --num-executor 12：--conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.maxExecutors=1