如何检查火花流作业是否正在运行

【问题标题】：How to check if spark streaming job is running如何检查火花流作业是否正在运行
【发布时间】：2016-03-23 14:35:56
【问题描述】：

我正在通过 YARN 运行 Spark 流式传输作业，并希望在作业终止时添加警报。

有没有办法在不使用 pid 的情况下检查作业是否正在运行（因为它会不断变化）。我在作业运行时检查了netstat -ntlp 的输出一次，在没有运行时检查了一次。但是输出没有区别。

【问题讨论】：

【解决方案1】：

使用纱线集群时，您可以将“spark.yarn.submit.waitAppCompletion”选项设置为 true 并检查您本地的 spark-submit 流程。

spark.yarn.submit.waitAppCompletion true

在YARN集群模式下，控制客户端是否等待退出，直到应用程序完成。如果设置为 true，客户端进程将保持活动状态报告应用程序的状态。否则，客户端提交后进程将退出。

【讨论】：