AWS EMR 验证错误

Question

我在运行 map-reduce Java 应用程序时遇到问题 我使用 AWS 提供的运行预定义步骤的教程代码简化了我的问题：

public class Main {

public static void main(String[] args) {

    AWSCredentials credentials = getCredentials();
    AmazonElasticMapReduceClient emr = new AmazonElasticMapReduceClient(
            credentials);

    StepFactory stepFactory = new StepFactory();

    StepConfig enabledebugging = new StepConfig()
            .withName("Enable debugging")
            .withActionOnFailure("TERMINATE_JOB_FLOW")
            .withHadoopJarStep(stepFactory.newEnableDebuggingStep());

    StepConfig installHive = new StepConfig().withName("Install Hive")
            .withActionOnFailure("TERMINATE_JOB_FLOW")
            .withHadoopJarStep(stepFactory.newInstallHiveStep());

    RunJobFlowRequest request = new RunJobFlowRequest()
            .withName("Hive Interactive")
            .withAmiVersion("3.3.1")
            .withSteps(enabledebugging, installHive)
            .withLogUri("s3://tweets-hadoop/")
            .withServiceRole("service_role")
            .withJobFlowRole("jobflow_role")
            .withInstances(
                    new JobFlowInstancesConfig().withEc2KeyName("hadoop")
                            .withInstanceCount(5)
                            .withKeepJobFlowAliveWhenNoSteps(true)
                            .withMasterInstanceType("m3.xlarge")
                            .withSlaveInstanceType("m1.large"));

    RunJobFlowResult result = emr.runJobFlow(request);
    System.out.println(result);
}

   private static AWSCredentials getCredentials() {
        AWSCredentials credentials = null;
        credentials = new BasicAWSCredentials("<KEY>","<VALUE>");
        return credentials;
    }

}

其中 , 是活动密钥，“hadoop”是我在 EC2 控制台中创建的密钥对。

运行后，我看到作业试图在 EMR 控制台中启动，1 分钟后它从 'starting' 变为 'Terminated with errors 验证错误'

没有提供其他信息

任何想法出了什么问题？

谢谢！

Answer 1

您可以在 EMR 集群列表详细信息页面（顶部）上查看错误详细信息。因为它是一个验证错误它还没有出现在日志中，所以唯一的方法是检查异常详细信息/cli response/aws console...

我的猜测是您使用的实例类型在 EMR 中不受支持（它们在 EC2 中受支持，但在 EMR 中不受支持）。但是，一旦您按照给定的步骤操作，您就会遇到确切的问题。