如何终止/删除 Amazon EMR 中的作业流？

Question

我使用 Amazon Elastic MapReduce (Amazon EMR) 创建了一个作业流，但由于某些未知原因而失败。然后我尝试通过 AWS 管理控制台终止作业流程，但“终止”按钮被禁用。然后我尝试使用 CLI 终止作业流程，它显示作业流程已终止，但是当通过 CLI 以及管理控制台的 Elastic MapReduce 选项卡查看时，它仍然在作业流程列表中显示为失败。

请告诉我如何从列表中删除工作流。

当我尝试调试作业流程时，它显示两个错误：

1. 调试功能不适用于此作业流程，因为您在创建时未指定 Amazon S3 日志路径。
2. 作业流程失败，原因是：存储桶名称“testBucket”无效：存储桶名称只能包含小写字母、数字、句点 (.) 和短划线 (-)。

Answer 1

您在这里面临两个问题：

作业流程失败

首先，触发Amazon EMR 工作流程终止状态的问题让您感到恼火，可以立即解决：

我使用 Amazon Elastic MapReduce (Amazon EMR) 创建了一个作业流，并且 由于一些未知的原因，它失败了。

作业流程失败的原因实际上可以从您提供的清单中的错误 2 中推断出来：

作业流程失败，原因是：无效的存储桶名称“testBucket”：存储桶 名称只能包含小写字母、数字、句点 (.) 和 破折号 (-)。 [强调我的]

您的存储桶名称“testBucket”明显违反了规定的小写命名要求，因此仅将名称更改为小写（例如“testbucket”或“test-bucket”）将允许您根据需要运行作业流程。

终止状态

此外，Job Flow 终止状态可能根本没有问题。虽然在极少数情况下可能会发生Amazon EC2 实例或其他资源实际上卡在某种状态，但您所看到的乍一看是完全合理和正常的：

• 首先完全终止作业流程可能需要一段时间，请参阅TerminateJobFlows：

  对 TerminateJobFlows 的调用是异步的。取决于 作业流程的配置，最多可能需要 5-20 分钟 完全终止和释放分配的工作流程 资源，例如 Amazon EC2 实例。 [强调我的]

• 即使已终止的 EC2 资源也可能会列出很长一段时间，请参见例如AWS 团队回复EC2 Instance stuck in "terminated" state：

  Terminated 的意思是“永远消失了”；虽然 有时它会在 几个小时的用户界面。 [强调我的]

我经常看到 EC2 实例的这种行为，它通常会在几个小时后从实例列表中消失。因此，我怀疑终止的工作流程同时从您的工作流程列表中消失了。

更新

我其实已经怀疑确实是这种情况，但在官方文档中仍然无法找到相关信息；但是，明显终止的工作流可能以一种或另一种方式可见长达两个月，例如参见AWS 团队回复Console not showing jobs older than a month：

虽然控制台列出了所有正在运行的作业流程，它只显示 终止了上个月启动的工作流。或者，你 可以使用 Ruby CLI 列出最后两个启动的所有作业流程 月 使用以下命令：[...] [emphasis mine]

Answer 2

如果您的应用程序在 hadoop yarn 上运行，您可以随时使用 yarn 来管理您的应用程序：

yarn application -list
yarn application -kill application_name