为什么 Spark UI 显示每个工作人员只有 6 个可用内核，而我有更多？

Question

为什么 Spark UI 在我的 3 台机器（8 个插槽 * 2 个核心/插槽）甚至 32 个，如果考虑到每个核心的线程数（2）。我试图在 spark-env.sh 文件中设置 SPARK_WORKER_CORES，但它没有任何改变（我对所有 3 个工作人员进行了更改）。我还评论了这条线，看看它是否改变了什么：可用的核心数总是停留在 6。

我在独立集群中使用 Spark 2.2.0：

pyspark --master spark://myurl:7077 

lscpu 命令的结果：

Answer 1

我发现我只需要停止 master 和 slave 并重新启动它们，以便刷新参数 SPARK_WORKER_CORES。