如果应用程序 ID 已知，如何终止 spark 作业？

【问题标题】：How to kill a spark job if application id is known?如果应用程序 ID 已知，如何终止 spark 作业？
【发布时间】：2015-06-10 05:24:01
【问题描述】：

我将 dse 与 spark 一起使用。我已经使用 dse submit 向 master 提交了一个 spark 作业。如何通过知道其应用程序 ID 来终止作业？

【问题讨论】：

【解决方案1】：

dse spark-class org.apache.spark.deploy.Client kill <spark-master> <driver-id>

或

直接从 Web UI（只需确保 spark.ui.killEnabled 设置为 true）

【讨论】：

这里的驱动ID是什么？它与 UI 中可用的应用程序 ID 相同吗？
您可以通过独立的 Master Web UI 在 http://:8080 找到驱动程序 ID。
我使用的是 DSE 4.7，主 web ui 端口是 7080。当我使用 dse spark-class kill 时，我得到 Driver app-20150812102000-0000 已经完成或不存在。但是在webui中它处于等待状态。这种情况很难重现。