为什么火花会杀死任务？

Question

我正在运行一个 spark 计算应用程序，并且我经常遇到一些任务终止问题。这是在我的 spark 控制台中的样子：

可以看出，有一些职位描述为 (_num_ killed: another attempt succeeded)。这不仅仅是失败，这是不同的东西。谁能解释一下是什么？

Answer 1

如果某项任务似乎花费了异常长的时间来完成，Spark 可能会启动该任务的额外副本，以防它们能够更快地完成。这被称为投机或投机执行。如果一个副本成功，则可以杀死其他副本。

查看以spark.speculation开头的参数：https://spark.apache.org/docs/latest/configuration.html

Answer 2

Killed - 这意味着执行者被一个停止并要求杀死执行者的 Worker 杀死。这种情况可能是由于许多原因，例如某些用户驱动的操作，或者可能是您的执行程序完成了处理，但由于某种原因它不存在但工作人员正在退出，因此需要杀死执行程序。