用于 EMR 自动化的 AWS 数据管道 VS lambda

Question

这是我在 AWS 中的应用程序的步骤。

1. 数据将每周加载到单独的 35 个S3 文件夹中。
2. 在每 35 个文件夹中完成数据加载后，将创建 35 个 EMR 集群。
3. 每个 EMR 集群都有 spark-scala 脚本来并行运行。
4. 作业完成后，所有集群都将终止。

我怎样才能做到这一点？

据我搜索，有两个选项。

1. 在 S3 事件和 lambda 上调用 AWS lambda 函数将创建 EMR 集群并执行 spark-submit。
2. 我了解了 AWS 数据管道。

AWS Data pipeline 对我的方案有帮助吗？

我还有运行 zeppelin 的 spark-scala 脚本。 如果需要，我可以创建 jar 并在数据管道中提交。

还请考虑成本。我每周有 5TB 的数据要交付给客户。

Answer 1

我认为您应该使用数据管道。管道将负责创建 EMR、提交作业并在处理完成后关闭 EMR。您可以在“活动”部分指定 EMR 的步骤。 “资源”部分可以指定 EMR 集群的参数（如要使用的实例类型/角色等）

您甚至可以配置警报 - 如果管道由于某种原因失败，则通过 SNS 向您发送电子邮件。

现在进入关于如何触发管道的部分。如果数据在预定时间进入，您可以考虑在管道中使用“计划”。然后，管道将在每天/每周/每月的指定时间激活。