有没有办法获得在纱线上运行的火花作业的尝试次数答案

【问题标题】：Is there a way to get the attempt number of a spark job running on yarn有没有办法获得在纱线上运行的火花作业的尝试次数
【发布时间】：2022-01-26 12:30:04
【问题描述】：

我想知道是否有办法以编程方式获取在纱线上运行的火花作业的尝试次数。

我已经尝试在此侦听器中使用SparkListenerApplicationStart 并在启动 spark-submit 时对其进行注册

class Listner extends SparkListener{
  var att = ""
  override def onApplicationStart(applicationStart: SparkListenerApplicationStart): Unit = {
    att = applicationStart.appAttemptId.getOrElse("")
    println(s"--------------------------------------$att------------------------------------------------")
  }

但是att 始终为空。

【问题讨论】：

标签： apache-spark hadoop-yarn

【解决方案1】：

我找到了解决问题的方法：

    val yc = YarnClient.createYarnClient()
    yc.init(spark.sparkContext.hadoopConfiguration)
    yc.start()
    val id = ApplicationId.fromString(spark.sparkContext.applicationId)
    val attempts = yc.getApplicationAttempts(id)

【讨论】：