AWS Data Pipeline - 我们可以重复使用在“按需”管道激活期间创建的 EC2 实例吗？

Question

问题 -

我可以在后续的按需运行中重复使用在数据管道的第一次按需运行期间创建的 ec2 资源吗？

说明 -

我已经配置了一个“按需”AWS 数据管道，它需要在一天中激活多次（比如一小时内激活 3 次）。

（我不能使用 cron 或时间序列样式调度，因为我必须在每次执行时将不同的参数传递给管道）

在每次按需激活时，数据管道似乎都会创建一个新的 ec2 资源？是这样吗？

我可以在其他后续运行中重复使用第一次按需运行期间创建的 ec2 资源吗？

AWS 文档提供了以下信息，但不清楚这是否也适用于“按需”管道。

AWS Data Pipeline 可让您最大限度地提高资源效率 通过支持资源的不同计划周期和 相关活动。

例如，考虑一个计划周期为 20 分钟的活动。如果 活动的资源也配置为 20 分钟的时间表 在此期间，AWS Data Pipeline 将创建资源的三个实例 在一小时内消耗三倍于任务所需的资源。

相反，AWS Data Pipeline 允许您使用 不同的时间表；例如，一小时的时间表。搭配时 20 分钟计划的活动，AWS Data Pipeline 仅创建 一个资源为活动的所有三个实例提供服务 小时，从而最大限度地利用资源。

Answer 1

这对于 Data-Pipeline 管理的资源是不可能的。对于这种情况，您需要自己启动 EC2 实例并配置 TaskRunner：

您可以在您的计算资源上安装 Task Runner 管理，例如 Amazon EC2 实例或物理服务器或 工作站。 Task Runner 可以安装在任何地方，在任何兼容的 硬件或操作系统，只要它可以与 AWS Data Pipeline Web 服务。

将已安装的 Task Runner 连接到管道 它应该处理的活动，向对象添加一个workerGroup 字段， 并配置 Task Runner 以轮询该工作组值。你做 这通过将工作组字符串作为参数传递（例如， --workerGroup=wg-12345) 当您运行 Task Runner JAR 文件时。

这样 Data Pipeline 不会为您创建任何资源，所有活动都将在您提供的 EC2 实例上运行。