EMR hadoop 的 maven 存储库

【问题标题】：maven repository for EMR hadoopEMR hadoop 的 maven 存储库
【发布时间】：2015-05-05 03:12:38
【问题描述】：

AWS EMR 是否有自己的用于 EMR Hadoop/Spark/Others 的 maven 存储库，类似于

  1. HDP [http://repo.hortonworks.com/content/repositories/releases/]
  2. CDH [https://repository.cloudera.com/artifactory/cloudera-repos]

问题：

  • 如果有，它的 URL 是什么？

  • 如果不是这样，社区会建议如何构建要在 EMR 实例上执行的 spark jar？

提前致谢。

【问题讨论】：

    标签： hadoop amazon-web-services amazon emr


    【解决方案1】：

    好消息，用于 EMR 依赖项（包括 Amazon 的 hadoop 版本）的 maven 存储库现已可用！

    https://docs.aws.amazon.com/en_us/emr/latest/ReleaseGuide/emr-artifact-repository.html

    【讨论】：

    • 但它只包含 hadoop 和 hive 工件.. 例如：aws s3 ls s3://eu-central-1-emr-artifacts/emr-6.5.0/repos/maven/org/apache /
    【解决方案2】：

    不，目前 EMR 没有向公众开放其 Hadoop 发行版。

    【讨论】：

      【解决方案3】：

      我也找不到带有来自 AWS 的修补 Hadoop 代码的官方 Maven 存储库。但只要我了解，aws 应用的补丁对于本地使用来说不是必需的。

      我建议使用官方 apache hadoop 存储库 http://mvnrepository.com/artifact/org.apache.hadoop 与 emr 在其环境中使用的相同版本。

      http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-hadoop.html

      【讨论】：

        猜你喜欢
        • 1970-01-01
        • 2012-08-17
        • 1970-01-01
        • 1970-01-01
        • 2014-04-08
        • 2011-02-04
        • 2012-08-23
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多
        热门标签
        Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode