【问题标题】:How to kill spark application on standalone cluster如何杀死独立集群上的火花应用程序
【发布时间】:2016-09-20 03:47:47
【问题描述】:

我尝试了 3 种方法来杀死它,但都不成功。

  1. 点击MasterWebUI上的kill链接,有时master和works的进程被down掉了。
  2. spark-submit --master spark://xx:7077 --kill app-20160920095657-0000,master url正确,但是抛出异常Exception in thread "main" org.apache.spark.deploy.rest.SubmitRestConnectionException: Unable to connect to server at org.apache.spark.deploy.rest.RestSubmissionClient$$anonfun$killSubmission$3.apply(RestSubmissionClient.scala:130)
  3. spark-class org.apache.spark.deploy.Client kill spark://xx:7077 20160920095657-0000,只输出Use ./bin/spark-submit with "--master spark://host:port",很快就完成了。

【问题讨论】:

  • 你能解决这个问题吗?

标签: apache-spark


【解决方案1】:

从 spark UI 获取正在运行的 driverId,然后点击 post rest call(spark master rest port like 6066)来终止管道。

curl -X POST http://localhost:6066/v1/submissions/kill/driverId

希望对你有帮助

【讨论】:

  • 我试过了,但是连接不上master,HTTP request sent, awaiting response..
  • @kewn21,您使用的是哪个版本的 spark?
  • 使用 spark 1.6.2
  • 我已经为 spark 1.6.1 上传了在 localhost:8080 上工作的 spark UI 图像(同样适用于 1.6.2),突出显示了 rest url localhost:6066 和 driverId。您能否在您的案例中找到带有图像参考的其余网址并尝试它是否有效。就我而言,它总是有效
  • REST URL 现在可以了,但是我找不到Running Drivers 在哪里。母版页中只有WorkersRunning ApplicationsPending Applications。也找不到在我点击sparkPI 并进入工作页面后。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2019-08-22
  • 1970-01-01
  • 2017-01-27
  • 1970-01-01
  • 1970-01-01
  • 2016-10-15
  • 2017-06-24
相关资源
最近更新 更多