Apache Spark 异常处理

【问题标题】：Apache Spark exception handlingApache Spark 异常处理
【发布时间】：2016-05-26 02:23:33
【问题描述】：

我正在使用 Apache Spark，现在我想了解更多关于异常处理的信息。

我的情况是我有一个相当复杂的过程，最后我做了一个动作。

显然，我需要在过程中间处理异常，所以就在最后，所以基本上在我进行map、flatMap等转换时也是如此......

我将如何处理异常？提示将不胜感激。

【问题讨论】：

标签： apache-spark

【解决方案1】：

一种方法是使用 Try

    rdd.map({
    Try(fn) match{
case Success: _
case Failure:<<Record with error flag>>
}).filter(record.errorflag==null)

不幸的是，使用 DataFrame/Set API 没有更简单的方法可以做到这一点。应该有一种方法在所有数据帧操作中推送异常处理程序，如选择、分组等。在管道期间优雅地处理与数据相关的错误。看到这个Row level exception handling in Apache Spark DataFrame/Set

【讨论】：