为什么执行程序条目在 spark web ui 中不可见

【问题标题】：Why is the executors entry not visible in spark web ui为什么执行程序条目在 spark web ui 中不可见
【发布时间】：2021-11-12 08:07:37
【问题描述】：

我正在运行一个 spark 作业，即使我已将 --num-executors 参数设置为 3，我在 web ui executors 选项卡中看不到任何 executors 为什么会发生

【问题讨论】：

我使用了命令 bin\spark-submit.cmd ^ --master local[8] ^ --num-executors 3 ^ --driver-memory 2G ^ --executor-memory 2G ^ --total-executor-cores 2 ^ --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 ^ --py-files C:\xyz.py^ C:\ abc.py

【解决方案1】：

本地模式下的 Spark 是非分布式的。 Spark 进程将在单个 JVM 上运行，驱动程序也将充当执行程序。

你只能在master URL中定义线程数。

您可以切换到独立模式。使用以下命令启动 master：

spark-class org.apache.spark.deploy.master.Master

而工人使用：

spark-class org.apache.spark.deploy.worker.Worker spark://<host>:7077

现在运行 spark-submit 命令。如果您有 6 个核心，只需指定 --executor-cores 2 将创建 3 个执行器，您可以检查 on spark UI。

【讨论】：