杀死 oozie coordinator 不会杀死后续的 spark 作业答案

【问题标题】：Killing oozie coordinator is not killing the subsequent spark job杀死 oozie coordinator 不会杀死后续的 spark 作业
【发布时间】：2019-02-08 17:37:52
【问题描述】：

当我试图杀死从 oozie 作业调用的 spark 作业时，它并没有被杀死。它只是显示工作流作业已被终止。然后我从这个命令检查了工作流日志

oozie job --ozie oozieurl -log workflowID

它在日志中显示此错误。

org.apache.oozie.command.CommandException: E0800: Action it is not running its in [KILLED] state, action [0006849-180819131048313-oozie-oozi-W@MysparkApplication]
        at org.apache.oozie.command.wf.CompletedActionXCommand.eagerVerifyPrecondition(CompletedActionXCommand.java:92)
        at org.apache.oozie.command.XCommand.call(XCommand.java:258)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:178)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

是我做错了什么，还是我们无法杀死从 oozie 协调器的纱线中启动的 spark 应用程序的限制。

【问题讨论】：

标签： apache-spark oozie oozie-coordinator oozie-workflow

【解决方案1】：

Oozie 协调器运行具有特定时间表的 oozie 工作流。当协调器调用 oozie 工作流时，它会在集群上提交 spark 作业。

这里的协调器和 oozie 工作流只跟踪作业，即作业是正在运行还是被终止等。

现在，如果您终止 oozie 工作流或协调器，它可以确保不会调用工作流中的下一步。然而，它并没有触及现有的火花工作。这是设计使然。

如果要终止 spark 作业，需要使用以下命令在集群中手动终止 spark 作业

yarn application -kill <applicationId>

【讨论】：