如何在独立集群上使用作业名称终止 Spark 作业

【问题标题】：How to kill Spark job with job name on standalone cluster如何在独立集群上使用作业名称终止 Spark 作业
【发布时间】：2019-03-19 01:12:18
【问题描述】：

如何在独立集群上终止具有作业名称的 Spark 作业？如何在沙盒上列出 Spark 作业 ID？有没有类似yarn application -list的命令？

【问题讨论】：

你想通过命令行来做吗？可以用浏览器连接master的8080端口...
解决了。通过外壳
所以回答你自己的问题并获得荣誉；）

标签： apache-spark sandbox hdp

【解决方案1】：

variable=$1
jar=$2
ps -ef | grep -w ${variable} | grep -w 'org.apache.spark.deploy.SparkSubmit' | grep -w ${jar}>t.txt
 sed -n 1p t.txt>t1.txt
 awk '{print $3}' t1.txt >kill.txt
 while read x;do
  kill -9 $x
  echo Process Id $x and Application "$variable" killed
done <kill.txt

【讨论】：