我有一个 scala 函数，计算两个日期之间的差异，以两个 LocalDateTime 作为参数：
我在我的 DataFrame 的 2 个字段上应用了该函数。
似乎添加了新列，因为我的数据框包含7 fields，并且在应用函数 toEquals 后显示8 fields。
但是当我这样做时：dfWithToEquals.printSchema()
它显示此错误：
有人可以帮助我如何解决此错误以显示包含这两个日期之间差异的新列？
【问题讨论】：
标签： scala datetime user-defined-functions
input_table.withColumn 返回一个新的 DataFrame。所以，要显示它：
val dfWithToEquals = input_table.withColumn("toEquals", toEquals($"start_date",$"finish_date"))
dfWithToEquals.printSchema()
dfWithToEquals.show()
更新
要解决 Task not serializable 异常：传递给 Spark 的对象必须是可序列化的。这里DATE_TIME_FORMATTER 引用是在udf 之外创建的，它是不可序列化的。尝试在函数内移动它的实例化：
def toEquals = udf((rd1: String, rd2: String) => {
val formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")
val d1 = adjust(LocalDateTime.parse(rd1, formatter))
val d2 = adjust(LocalDateTime.parse(rd2, formatter ), asc = false)
// remaining code unchanged
})
更新结束
【讨论】：