在 scala spark 作业中，在纱线中运行，我怎样才能使作业失败，以便纱线显示失败状态

Question

我的 scala spark 作业代码中有一个简单的 if 语句，如果为 false，我想停止作业并将其标记为失败。我希望 yarn UI 显示状态为失败的 spark 作业，但到目前为止我所做的一切都停止了该作业，但仅在 yarn UI 上显示为成功完成。

    if(someBoolen) {
        //context.clearAllJobs()
        //System.exit(-1)
        //etc, nothing so far, stops the job and show as failed in the yarn UI
    }

任何帮助都会很棒。

Answer 1

抛出异常（而不是捕获它）将导致进程失败。

if(someBoolen) {
    throw new Exception("Job failed");
}