udf spark Scala 返回案例类

Question

import org.apache.spark.sql.functions._

case class oneClass(a : Int , b: String , c :string)

val doSomthing = udf ((t1 : Seq[String], str : String , values : t2 Seq[String])
    => {
    val pos = t1.indexOf(str)
    if (pos >= 0) oneClass(pos, str,t2(pos))
    //if no control of pos possible return -1 ===> indexoutofboundsexception
    //if control the udf return Any then when I use it ===> Exception
    }
)

只有当 pos >= 0 并且一直返回 case class 时，我如何才能返回 case class ??

Answer 1

如果这不应该发生，要么抛出异常（spark 作业将失败）：

val doSomthing = udf ((t1 : Seq[String], str : String , t2 :Seq[String])=> {
  val pos = t1.indexOf(str)
  if (pos >= 0) oneClass(pos, str,t2(pos)) else {
    throw new IllegalArgumentException
  }
})

否则使用Option:

val doSomthing = udf ((t1 : Seq[String], str : String , t2 :Seq[String])=> {
  val pos = t1.indexOf(str)
  if (pos >= 0) Some(oneClass(pos, str,t2(pos))) else None
})

在后一种情况下，您的 DataFrame 中的结果将是 null（None 转换为 null）

如果没有抛出异常，也可以用于返回结果的模式：

val doSomthing = udf ((t1 : Seq[String], str : String , t2 :Seq[String])=> {
  scala.util.Try{
  val pos = t1.indexOf(str)
  oneClass(pos, str,t2(pos))
  }.toOption
})

这对测试很有用，但我不认为这是一种好的做法