是否可以使用数据管道创建具有自动缩放功能的 EMR 集群

Question

我是 AWS 新手。我通过 AWS 控制台使用 Auto Scaling 策略创建了一个 EMR 集群。我还创建了一个数据管道，可以使用这个集群来执行活动。

我还可以通过数据管道动态创建 EMR 集群。但是在执行此操作时，我无法将 Auto Scaling Rule 分配给 EMR 集群。有没有办法通过数据管道为 EMR 集群配置 Auto Scaling 角色和其他所需的配置

Answer 1

不可能让 AWS Data Pipeline 使用 Auto Scaling 启动 Amazon EMR 集群。

也没有必要。

AWS Data Pipeline 启动 Amazon EMR 集群来执行一些工作，例如转换数据或在系统之间移动数据。一旦这样的任务完成，集群就会终止。这被称为 transient 集群。

这是一个与 长期运行的 Amazon EMR 集群截然不同的用例，后者全天接受临时作业，并可以利用 Auto Scaling 根据需求添加/删除容量.

因此，实际上不需要将 Auto Scaling 添加到由 Data Pipeline 启动的 EMR 集群中。相反，预先指定容量，它将在作业期间使用。