在 Yarn UI 中将 Spark 作业标记为失败答案

【问题标题】：Mark Spark Job as Failed in Yarn UI在 Yarn UI 中将 Spark 作业标记为失败
【发布时间】：2016-11-02 12:31:47
【问题描述】：

该应用程序是复杂生态系统的一部分，我们使用 Yarn Rest Api 跟踪所有作业的状态。

现在对于某些特定的业务场景，我们需要将 Spark Job 标记为失败，但我遇到了一个问题，因为我在 spark 作业 Error/Exception 或 System.exit(123) 作业中提出的问题并不重要在 Yarn 中标记为 Finished，最终状态为 Succeeded。

使用 spark-submit 通过 jar 触发 spark 作业。

object Execute {
 def main(args: Array[String]) {
   val sc = new SparkContext(sparkConf)
   if(businessException needs to be raised)
      //What to do???
 }
}

我在 Spark 工作中尝试过的事情：

抛出新的错误（“随便”）
抛出新异常（“随便”）
System.exit(123)
sys.exit(123)

希望有人能告诉我如何在纱线 UI 中将 Spark 作业标记为失败。

【问题讨论】：

标签： scala apache-spark hadoop-yarn

【解决方案1】：

别管这个。无论如何，Yarn 对 spark 应用程序的报告是不稳定的，这从 Jira 上的多个错误中可以看出，这表明 Yarn 有时会将成功的 spark 作业标记为失败，反之亦然。

我最终创建了自己的数据库表来跟踪最终状态（错误、成功等），根据条件从 spark 作业更新。

【讨论】：