【问题标题】:Allow more than one hadoop/EMR tasks to fail before shutting down在关闭之前允许多个 hadoop/EMR 任务失败
【发布时间】:2013-10-07 17:29:00
【问题描述】:

我正在尝试在 Amazon Elastic MapReduce 上使用 hadoop,我有数千个地图任务要执行。如果一小部分任务失败,我可以,但是,亚马逊会关闭该作业,并且当第一个映射器失败时,我会丢失所有结果。有没有可以用来增加允许的失败作业数量的设置?谢谢。

【问题讨论】:

    标签: hadoop amazon-web-services hadoop-streaming elastic-map-reduce


    【解决方案1】:

    这是 hadoop 的答案:

    Is there any property to define failed mapper threshold

    要在 EMR 中使用上述设置,请查看:

    http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

    具体来说,您创建一个 xml 文件(示例中为 config.xml),其中包含您要更改的设置并应用引导操作:

    ./elastic-mapreduce --create \ --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \ --args "-M,s3://myawsbucket/config.xml"

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-05-22
      • 2012-12-16
      • 2014-08-27
      • 2021-11-16
      • 1970-01-01
      相关资源
      最近更新 更多