在纱线中并行运行多个hadoop作业

【问题标题】：Running multiple hadoop jobs in parallel in yarn在纱线中并行运行多个hadoop作业
【发布时间】：2016-07-27 07:57:32
【问题描述】：

当我尝试在 EMR 集群中运行多个 hadoop 作业时，它们都一个接一个地运行（我可以使用 yarn application -list 查看进度）。

  1. 有没有办法并行运行所有这些 hadoop 作业？
  2. 在一个步骤中传递多个 hadoop 作业是否可以解决此问题？如果是，如何在一个步骤中传递多个作业？

【问题讨论】：

    标签： amazon-web-services hadoop-yarn hadoop2 emr amazon-emr


    【解决方案1】：

    如果您将 HadoopActivity 与 FAIR 调度程序或容量调度程序一起使用，则可以并行运行多个步骤。

    https://aws.amazon.com/about-aws/whats-new/2015/06/run-parallel-hadoop-jobs-on-your-amazon-emr-cluster-using-aws-data-pipeline/

    【讨论】：

    • 您是否有任何方法可以将其包含在 aws emr create-cluster 命令中？
    猜你喜欢
    • 2011-11-20
    • 1970-01-01
    • 2014-08-22
    • 1970-01-01
    • 1970-01-01
    • 2014-07-26
    • 1970-01-01
    • 2016-09-29
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode