SPARK_WORKER_INSTANCES 设置在 Spark Standalone Windows 中不起作用答案

【问题标题】：SPARK_WORKER_INSTANCES setting not working in Spark Standalone WindowsSPARK_WORKER_INSTANCES 设置在 Spark Standalone Windows 中不起作用
【发布时间】：2017-02-28 07:03:07
【问题描述】：

我正在尝试设置一个独立的 Spark 2.0 服务器来并行处理分析功能。为此，我想运行 8 个工人，每个工人有一个核心。但是，Spark Master/Worker UI 似乎没有反映我的配置。

我正在使用：

独立 Spark 2.0
8 核 24gig RAM
Windows 服务器 2008
pyspark

spark-env.sh 文件配置如下：

SPARK_WORKER_INSTANCES = 8
SPARK_WORKER_CORES = 1
SPARK_WORKER_MEMORY = 2g

spark-defaults.conf 配置如下：

spark.cores.max = 8

我启动master：

spark-class org.apache.spark.deploy.master.Master

我通过在批处理文件中运行此命令 8 次来启动工作程序：

spark-class org.apache.spark.deploy.worker.Worker spark://10.0.0.10:7077

问题是UI显示如下：

正如您所见，每个工作人员都有 8 个核心，而不是我通过 SPARK_WORKER_CORES 设置分配给它的 1 个核心。此外，内存反映了整个机器内存，而不是分配给每个工人的 2g。如何将 Spark 配置为在独立模式下每个工作人员使用 1 个核心/2g 运行？

【问题讨论】：

标签： apache-spark

【解决方案1】：

我修复了这个问题，将核心和内存参数添加到工作程序本身。

start spark-class org.apache.spark.deploy.worker.Worker --cores 1 --memory 2g spark://10.0.0.10:7077

【讨论】：