【问题标题】:terminating a spark step in aws终止 aws 中的 spark 步骤
【发布时间】:2016-01-26 17:28:58
【问题描述】:
我想在 EMR 火花集群上设置一系列火花步骤,如果当前步骤耗时过长,则终止当前步骤。但是,当我 ssh 进入主节点并运行 hadoop jobs -list 时,主节点似乎认为没有作业在运行。我不想终止集群,因为这样做会迫使我购买我正在运行的任何集群的全新一小时。谁能帮我在不终止整个集群的情况下终止 EMR 中的 spark-step?
【问题讨论】:
标签:
hadoop
amazon-web-services
apache-spark
emr
【解决方案1】:
这很简单:
yarn application -kill [application id]
您可以列出正在运行的应用程序
yarn application -list
【解决方案2】:
您可以从资源管理器中终止应用程序(在集群状态下右上角的链接中)。
在资源管理器中,点击你要杀死的应用程序,在应用程序页面有一个小的“杀死”标签(左上角)你可以点击杀死应用程序。
显然您也可以使用 SSH,但我认为这种方式对某些用户来说更快更容易。