aws boto3 如何提交取决于所有先前作业完成的最终批处理作业？

【问题标题】：How can aws boto3 submit a final batch job that depends on the completion of all previous jobs?aws boto3 如何提交取决于所有先前作业完成的最终批处理作业？
【发布时间】：2018-02-04 11:20:11
【问题描述】：

boto3 documentation 描述了如何提交dependsOn 参数，但是单个作业只能依赖最多20个作业的完成。如何提交取决于完成任意大量作业的作业？这可以通过将最终作业类型指定为SEQUENTIAL 来完成吗？或者这需要通过创建一个较低优先级的队列来完成吗？

【问题讨论】：

标签： amazon-web-services batch-processing boto3

【解决方案1】：

虽然 AWS Batch 确实将您限制为 20 个任意作业（您可以与他们签订合同以了解如何增加它），但他们确实在 2017 年 11 月引入了数组作业。

https://docs.aws.amazon.com/batch/latest/userguide/array_jobs.html

当您希望在多台机器上运行相同的基本作业步骤时（即不是完全任意的作业）。因此，它需要一份工作，并且可以将其分解为多达 10,000 个工作。每个都有一个索引参数，因此您可以传递一个大文档并让每个最终作业在给定的页码上工作。

那么您的下一个工作步骤可能取决于具有 2-10,000 个工作的工作。

查看文档以获取详细信息，尤其是因为您可以通过不同方式配置依赖项。

【讨论】：