【问题标题】:How do I submit a Spark jar to a EMR cluster?如何将 Spark jar 提交到 EMR 集群?
【发布时间】:2015-05-05 18:22:48
【问题描述】:

我已使用在线 AWS 控制台与 Apache Spark 一起启动我的集群。我有一个基于我的 Spark 应用程序的胖 jar,我已将其上传到 S3 Bucket。 当我尝试将其作为Step with a Custom Jar 发送时,该过程失败。 任何指针将不胜感激。

【问题讨论】:

    标签: amazon-web-services mapreduce apache-spark bigdata emr


    【解决方案1】:

    【讨论】:

    • 感谢您的意见。但是,我的 aws-cli 输出没有 add-steps 方法。我应该使用它的 ruby​​ 客户端吗?
    • 文档使用默认的 aws cli,它具有该方法:docs.aws.amazon.com/cli/latest/reference/emr/index.html 您可以使用 CLI 中的替代命令(如果有),或者更新到默认 CLI 的最新版本实施。
    • 我明白了!非常感谢
    猜你喜欢
    • 1970-01-01
    • 2020-11-08
    • 2019-05-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-11-13
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多