【发布时间】:2013-10-07 17:29:00
【问题描述】:
我正在尝试在 Amazon Elastic MapReduce 上使用 hadoop,我有数千个地图任务要执行。如果一小部分任务失败,我可以,但是,亚马逊会关闭该作业,并且当第一个映射器失败时,我会丢失所有结果。有没有可以用来增加允许的失败作业数量的设置?谢谢。
【问题讨论】:
标签: hadoop amazon-web-services hadoop-streaming elastic-map-reduce
我正在尝试在 Amazon Elastic MapReduce 上使用 hadoop,我有数千个地图任务要执行。如果一小部分任务失败,我可以,但是,亚马逊会关闭该作业,并且当第一个映射器失败时,我会丢失所有结果。有没有可以用来增加允许的失败作业数量的设置?谢谢。
【问题讨论】:
标签: hadoop amazon-web-services hadoop-streaming elastic-map-reduce
这是 hadoop 的答案:
Is there any property to define failed mapper threshold
要在 EMR 中使用上述设置,请查看:
具体来说,您创建一个 xml 文件(示例中为 config.xml),其中包含您要更改的设置并应用引导操作:
./elastic-mapreduce --create \ --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \ --args "-M,s3://myawsbucket/config.xml"
【讨论】: