大数据开发面试部分：Hadoop 如何应对某些节点运行较慢的问题（大数据开发面试）

Hadoop 中通过拆分任务到多个节点运行来实现并行计算，但某些节点运行较慢会拖慢整个任务的运行，Hadoop  采用何种机制应对这个情况？

 

推测执行机制是 Hadoop 对“拖后腿”的任务的一种优化机制，当一个作业的某些任务运行速度明显慢于同作业的其他任务时，Hadoop 会在另一个节点 上为“慢任务”启动一个备份任务，这样两个任务同时处理一份数据，而 Hadoop 最终会将优先完成的那个任务的结果作为最终结果，并将另一个任务杀掉。