如何将多个 Spark 作业提交到单个 AWS EMR 集群

Question

我正在尝试向 EMR 集群提交多个作业，但我只看到第一个处于运行状态，其余的都处于已接受状态。我的大部分工作都是流式工作。

我有以下疑问：

1. 如何实现这些作业的并行运行？
2. 自动化这些作业以供将来部署的各种方法是什么？
3. 如何处理计划作业（例如每 15 分钟运行一次的作业）？

我正在使用 Java 进行开发。任何输入都会非常有帮助。

Answer 1

如果 EMR 中的多个步骤不相互依赖，那么您可以使用 EMR 中名为 Concurrency 的功能来解决您的用例。此功能仅意味着您一次可以并行运行多个步骤。

此功能来自 EMR 版本 5.28.0。如果您使用的是旧版本，则无法使用此功能。

从 AWS 控制台启动 EMR 时，此功能在 UI 中称为'并发'。您可以选择 1 到 256 之间的任何数字。

如果您从 AWS CLI 启动 EMR，则此功能称为 'StepConcurrencyLevel'。

您可以在multiple steps now in EMR 和AWS CLI details 阅读更多相关信息

回答您关于如何处理计划作业？

的第二个问题

有多种方法可以做到这一点。我能想到的一种简单方法是编写一个 lambda 函数来生成这个 EMR。现在，可以在 AWS cloudwatch 中安排这个 lambda 函数以您想要的任何频率运行（比如每 15 分钟或任何时间间隔）。您只需要提及一个 Cron 表达式，它将决定触发此规则的频率。

因此，每次触发规则时，它都会执行您的 lambda 函数。而你的 lambda 函数反过来会产生 EMR。通过这种方式，您可以安排您的工作。