在火花数据框中使用案例类的好处[重复]

Question

在 spark dataframe 中使用 case class 有什么好处？我可以使用“inferschema”选项定义架构或定义 Structtype 字段。 我提到 “https://docs.scala-lang.org/tour/case-classes.html”但不明白除了使用反射生成架构之外，使用案例类还有什么优势。

Answer 1

inferschema 可能是一项昂贵的操作，并且会不必要地推迟错误行为。考虑下面的伪代码

val df = loadDFWithSchemaInference
//doing things that takes time
df.map(row => row.getAs[String]("fieldName")).//more stuff

现在，在您的此代码中，您已经假设 fieldName 是 String 类型，但它仅在您的处理后期表达并确保导致不幸的错误，以防它实际上不是 String

现在如果你愿意这样做

val df = load.as[CaseClass]

或

val df = load.option("schema", predefinedSchema)

fieldName 是String 的事实将是一个先决条件，因此您的代码将更加健壮且不易出错。

如果你在 REPL 中做探索性的事情，模式推断非常方便。 Zeppelin 但不应在操作代码中使用。

编辑附录： 我个人更喜欢使用案例类而不是模式，因为出于类似的稳健性原因，我更喜欢Dataset API 而不是Dataframe API（即Dataset[Row]）。