【问题标题】:How to kill an EMR task programatically如何以编程方式终止 EMR 任务
【发布时间】:2022-11-12 13:44:41
【问题描述】:

我想以编程方式终止 EMR 流式传输任务。如果我从 EMR UI 或 boto 客户端杀死它,它会在 EMR 中消失,但它在 Hadoop 集群中仍然处于活动状态(请参阅this article)。只有当我通过 Hadoop 资源管理器并从那里杀死它时,作业才会终止。 如何以编程方式做同样的事情?

【问题讨论】:

    标签: apache-spark hadoop hadoop-yarn amazon-emr


    【解决方案1】:

    您可以ssh 集群并使用yarn application -kill application_id 或使用yarn api 杀死应用程序

    Can not kill a YARN application through REST api

    【讨论】:

      【解决方案2】:

      正如@maxime-g 所说,杀死纱线应用程序的唯一方法是运行以下命令:yarn application -kill application_id。 但是可以运行一个在主节点上运行脚本的 EMR,并且该脚本应该包含这个命令,并且可能带一个参数。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2022-10-21
        • 2015-05-31
        • 2019-03-14
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多