【问题标题】:Spark: How to kill running process without exiting shell?Spark:如何在不退出 shell 的情况下终止正在运行的进程?
【发布时间】:2016-09-19 13:00:26
【问题描述】:

如何在本地 OSX 机器上的 Spark shell 中终止正在运行的进程而不退出?

例如,如果我只是在 RDD 上执行简单的.count(),这可能需要一段时间,有时我想杀死它。

但是,如果我这样做 Ctrl C 那么它会杀死整个外壳。

有没有办法杀死进程而不是shell?

【问题讨论】:

  • 您使用的是哪个集群?纱线还是独立的?
  • 截至 2016 年 8 月 1 日,我控制^C,它只是杀死命令,而不杀死外壳。但是,我在现实世界的集群中。
  • 在本地 spark-shell 上,我无法通过按 Ctrl-C 来停止流式传输作业。我不得不关闭终端窗口!
  • 我正在使用 YARN 并且 control + C 也会杀死整个 shell

标签: apache-spark


【解决方案1】:

您可以使用主 Web 界面来终止或可视化作业。 此外,您还会在那里找到其他内容,例如日志文件或集群工作图表...

【讨论】:

    【解决方案2】:

    取自 spark 文档:

    然后,如果您想杀死一个反复失败的应用程序,您可以通过以下方式执行:
    ./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

    链接:http://spark.apache.org/docs/latest/spark-standalone.html

    【讨论】:

    • 那么这是来自不同终端会话的命令吗? bc spark-shell 在长时间运行命令期间将无响应。
    猜你喜欢
    • 1970-01-01
    • 2012-11-13
    • 2017-12-22
    • 2020-09-15
    • 2021-08-19
    • 2014-05-31
    • 1970-01-01
    • 2014-01-21
    • 2019-05-03
    相关资源
    最近更新 更多