K8S上的Spark提交不等待完成

Question

我正在尝试使用同步方式以集群模式向 k8s 集群提交作业（直到作业结束才返回）。

不幸的是，作业在提交后结束，我在输出中看到了这一点：

ClientEndpoint: spark-submit not configured to wait for completion, exiting spark-submit JVM.

文件说：

spark.kubernetes.submission.waitAppCompletion 默认为真 集群模式下，是否先等待应用完成 退出启动器进程。当更改为 false 时，启动器有 启动 Spark 作业时的“即发即弃”行为。

我试图将此选项添加到 --conf 中的命令行以及 conf/spark-defaults.conf => 相同的结果

如何做到这一点？

Answer 1

如果您在独立模式下运行 Spark，请尝试添加 --conf spark.standalone.submit.waitAppCompletion=true 选项。

资源：

• Error message
• Config option