Hadoop作业如何自行杀死答案

【问题标题】：How can Hadoop job kill by itselfHadoop作业如何自行杀死
【发布时间】：2011-05-19 07:35:02
【问题描述】：

有什么方法可以杀死 Hadoop 作业本身或发送信号杀死它。我从 jobConf 中阅读了配置设置，它说如果用户指定了错误的设置，我需要终止作业或抛出错误，因为 map/reduce config 方法不允许抛出异常.

public void configure(JobConf job) {
    System.out.println("Inside config start processing");
     try {

            String strFileName =  job.get("hadoop.rules");
            LoadFile(strFileName );
     } catch (Exception e) {
         e.printStackTrace();
        //Here i need to write code to kill job
     }
}

【问题讨论】：

标签： hadoop

【解决方案1】：

在 configure() 方法中，只需抛出一个 RuntimeException。

如果可能的话，最好在作业运行之前执行验证步骤。

【讨论】：

【解决方案2】：

只需将状态保存到一个名为 kill 的布尔变量中，然后在 map 步骤中评估该变量，然后抛出一个 IOException。

【讨论】：

感谢 Thomas，但在这种情况下，将检查 map 处理的每条记录的编码。