【问题标题】:Re-use Amazon Elastic MapReduce instance using aws java sdk使用 aws java sdk 重用 Amazon Elastic MapReduce 实例
【发布时间】:2014-11-17 14:54:58
【问题描述】:

此链接 (Re-use Amazon Elastic MapReduce instance) 提供了一种重复使用此类实例的方法 elastic-mapreduce --jobflow job-id \ --jar s3n://some-path/x.jar \ --step-name "New step name" \ --args ...

但是我怎样才能在驱动程序中执行相同的操作来运行作业,即通过使用 aws java sdk 来运行另一个作业。我认为 JobFlowInstancesConfig 类中必须有一些方法来设置 id 但我找不到任何东西。 http://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/elasticmapreduce/model/JobFlowInstancesConfig.html

感谢任何帮助。

【问题讨论】:

  • 为什么投反对票?如果问题有问题,也许它可以帮助我修改一些东西。

标签: amazon-web-services emr


【解决方案1】:

实际上,由于我最初得到的反对票,我不会回答。 我做了这样的事情(我没有在这里添加整个代码,但它后面的链接可能会有所帮助)

static AddJobFlowStepsRequest AJFSrequest;
List <StepConfig>steps = new LinkedList();
AJFSrequest = new AddJobFlowStepsRequest();
AJFSrequest.setJobFlowId("j-VKJMSIU34SFQ");

HadoopJarStepConfig jarConfig = new HadoopJarStepConfig(S3N_HADOOP_JAR);
jarConfig.setArgs(ARGS_AS_LIST);
StepConfig stepConfig =new StepConfig(S3N_HADOOP_JAR.substring(S3N_HADOOP_JAR.indexOf('/') + 1),jarConfig);

String lastState = "";
steps.add(stepConfig);
AJFSrequest.setSteps(steps);
emr.addJobFlowSteps(AJFSrequest);

http://chathurah.blogspot.in/2010/03/programmatically-launch-elastic-map.html

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2012-05-14
    • 2014-08-06
    • 1970-01-01
    • 2021-11-19
    • 2017-06-30
    • 1970-01-01
    • 2017-02-10
    • 2011-12-27
    相关资源
    最近更新 更多