【问题标题】:terminating a spark step in aws终止 aws 中的 spark 步骤
【发布时间】:2016-01-26 17:28:58
【问题描述】:

我想在 EMR 火花集群上设置一系列火花步骤,如果当前步骤耗时过长,则终止当前步骤。但是,当我 ssh 进入主节点并运行 hadoop jobs -list 时,主节点似乎认为没有作业在运行。我不想终止集群,因为这样做会迫使我购买我正在运行的任何集群的全新一小时。谁能帮我在不终止整个集群的情况下终止 EMR 中的 spark-step?

【问题讨论】:

    标签: hadoop amazon-web-services apache-spark emr


    【解决方案1】:

    这很简单:

    yarn application -kill [application id]
    

    您可以列出正在运行的应用程序

    yarn application -list
    

    【讨论】:

      【解决方案2】:

      您可以从资源管理器中终止应用程序(在集群状态下右上角的链接中)。 在资源管理器中,点击你要杀死的应用程序,在应用程序页面有一个小的“杀死”标签(左上角)你可以点击杀死应用程序。

      显然您也可以使用 SSH,但我认为这种方式对某些用户来说更快更容易。

      【讨论】:

        猜你喜欢
        • 2020-12-13
        • 1970-01-01
        • 2021-12-22
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2020-12-30
        • 1970-01-01
        相关资源
        最近更新 更多