【发布时间】：2016-02-18 11:42:48
【问题描述】：
我使用 spark 和 yarn 已经有一段时间了，而且大部分时间都掌握了所有 spark-submit 参数。我目前正在使用一个 5 节点 EMR 集群、1 个主节点和 4 个工作节点，全部为 M3.xlarge，指定为 4 个 vCore。 （实际上，当我 ssh 进入机器并检查时，实际上只有 3 个内核。）
但是，当我将工作提交到 emr 时
spark-submit --master yarn --class myclass --num-executors 9 --executor-cores 2 --executor-memory 500M my.jar
yarn 控制台总是显示我总共有 32 个 vCore，使用了 4 个 vCore，活动节点数为 4。
所以这个 vCore 总数是一个真正的谜。怎么会有 32 个 vCore？即使计算主节点，也有 5 * 4 vCores = 20。不计算主节点，活动工作节点确实是 4。这会使总 vCore 数变为 16，而不是 32。任何人都可以解释一下吗？
【问题讨论】：