如何使用 Elastic MapReduce API 在一个步骤中向 Hadoop 提交多个作业？

Question

Amazon EMR Documentation to add steps to cluster 表示单个 Elastic MapReduce 步骤可以向 Hadoop 提交多个作业。但是，Amazon EMR Documentation for Step configuration 建议单个步骤只能执行一次 hadoop-streaming.jar（即 HadoopJarStep 是 HadoopJarStepConfig 而不是 HadoopJarStepConfigs 数组）。

在一个步骤中向 Hadoop 提交多个作业的正确语法是什么？

Answer 1

就像Amazon EMR Documentation 所说，您可以创建一个集群，在一个步骤中在主实例上运行一些脚本my_script.sh：

aws emr create-cluster --name "Test cluster" --ami-version 3.11 --use-default-roles
    --ec2-attributes KeyName=myKey --instance-type m3.xlarge --instance count 3
    --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"]

my_script.sh 应该如下所示：

#!/usr/bin/env bash

hadoop jar my_first_step.jar [mainClass] args... &
hadoop jar my_second_step.jar [mainClass] args... &
.
.
.
wait

这样，多个作业在同一个步骤中提交到 Hadoop ——但不幸的是，EMR 界面将无法跟踪它们。为此，您应该使用here 所示的 Hadoop Web 界面，或者简单地将ssh 连接到主实例并使用mapred job 进行探索。