在 Spark 中转换 dd-MMM-yy 日期格式

Question

我有一个 Spark 数据框 (Scala API)，其中包含一个名为 transfer date 的列，日期格式为 string，格式为 24-JUL-17。

我想将它转换为日期字符串为时间戳。我该怎么做？

Answer 1

我找到了：

import org.apache.spark.sql.functions.unix_timestamp

val ts = unix_timestamp($"transfer date", "dd-MMM-yy").cast("timestamp")
dfs.withColumn("ts",ts).show()

Answer 2

也可以用to_timestamp(date_col, expr)完成

import org.apache.spark.sql.functions.to_timestamp

val df = date.withColumn("ts", to_timestamp($"transfer date", "dd-MMM-yy"))

现在 df 中的 ts 列是 timestamp 类型。