线程“主”org.apache.spark.SparkException 中的异常：驱动程序内核必须是正数答案

【问题标题】：Exception in thread "main" org.apache.spark.SparkException: Driver cores must be a positive number线程“主”org.apache.spark.SparkException 中的异常：驱动程序内核必须是正数
【发布时间】：2022-06-29 14:59:07
【问题描述】：

我在 Mesos 集群模式下提交任务时遇到问题，首先我使用此语法在 Mesos 上运行集群模式

$ cd spark
$ ./sbin/start-mesos-dispatcher.sh --master mesos://10.2.3.95:5050

之后我使用 spark-submit 在 Mesos 中提交任务

./bin/spark-submit --master mesos://10.2.3.95:7077 \
                   --deploy-mode cluster \
                   --name scraping_twitter_1.py \
                   --py-files ~/scraping/scraping_twitter_1.py \
                   --driver-cores 4 \
                   --total-executor-cores 8 \
                   --conf spark.master.rest.enabled=true \
                   ~/scraping/scraping_twitter_1.py

然后像这样的问题

我已经更改了 spark-submit 脚本来运行这个任务我已经尝试添加

--driver-cores 4 \
--driver-memory 10G \
--executor-cores 4 \
--executor-memory 10G

但结果还是一样 驱动核心数必须为正数

任务运行良好

我也打开http://10.2.3.95:8081/看日志

【问题讨论】：

标签： apache-spark driver core mesos spark-submit

【解决方案1】：

不幸的是，由于this feature 和 MesosClusterDispatcher 的工作方式，我认为 Spark 3.2.x 不可能在集群模式下与 Mesos 一起运行。基本上，Dispatcher 正在使用 --driver-cores 参数作为浮点数提交 Spark 应用程序，然后 Spark (SparkSubmitArguments.scala) 将其读取为字符串并像这样解析它：

driverCores.toInt

当然这失败了。

我为此提出了quick fix，但同时我只是用我在 PR 中所做的更改构建了代码。我还将此报告为bug。

【讨论】：