【发布时间】:2022-11-12 13:44:41
【问题描述】:
我想以编程方式终止 EMR 流式传输任务。如果我从 EMR UI 或 boto 客户端杀死它,它会在 EMR 中消失,但它在 Hadoop 集群中仍然处于活动状态(请参阅this article)。只有当我通过 Hadoop 资源管理器并从那里杀死它时,作业才会终止。 如何以编程方式做同样的事情?
【问题讨论】:
标签: apache-spark hadoop hadoop-yarn amazon-emr
我想以编程方式终止 EMR 流式传输任务。如果我从 EMR UI 或 boto 客户端杀死它,它会在 EMR 中消失,但它在 Hadoop 集群中仍然处于活动状态(请参阅this article)。只有当我通过 Hadoop 资源管理器并从那里杀死它时,作业才会终止。 如何以编程方式做同样的事情?
【问题讨论】:
标签: apache-spark hadoop hadoop-yarn amazon-emr
您可以ssh 集群并使用yarn application -kill application_id 或使用yarn api 杀死应用程序
【讨论】:
正如@maxime-g 所说,杀死纱线应用程序的唯一方法是运行以下命令:yarn application -kill application_id。
但是可以运行一个在主节点上运行脚本的 EMR,并且该脚本应该包含这个命令,并且可能带一个参数。
【讨论】: