SparkR - 转换为日期格式

【问题标题】：SparkR - cast to date formatSparkR - 转换为日期格式
【发布时间】：2018-03-24 19:05:23
【问题描述】：

如何使用 Spark 数据帧的特定格式将字符串转换为日期？

在 dplyr 中，我会这样做：

df = data.frame(dt1 = c("22DEC16", "12JUN16"), x = c(10,20))
df = df %>% mutate(dt2 = as.Date(dt1, "%d%b%y"))

> df
  dt1     x        dt2
1 22DEC16 10 2016-12-22
2 12JUN16 20 2016-06-12

【问题讨论】：

标签： r apache-spark apache-spark-sql sparkr

【解决方案1】：

在 Spark 2.2 或更高版本中：

library(magrittr)

df <- createDataFrame(data.frame(dt=c("22DEC16", "12JUN16")))

df %>% withColumn("parsed", to_date(.$dt,  "ddMMMyy")) %>% head()

       dt     parsed
1 22DEC16 2016-12-22
2 12JUN16 2016-06-12

在 Spark 2.2 之前：

df %>%
  withColumn(
   "parsed",
   unix_timestamp(.$dt, "ddMMMyy") %>% cast("timestamp") %>% cast("date")) %>%
  head()

       dt     parsed
1 22DEC16 2016-12-22
2 12JUN16 2016-06-12

使用此解决方案，您应该注意可能存在的时区不一致。

【讨论】：