【发布时间】:2016-02-22 19:21:03
【问题描述】:
在 SparkR (spark-1.4.0) 中,我想使用 date_add 函数。
https://spark.apache.org/docs/latest/api/R/
但是当我在 SparkR 中输入它时,它说该函数不存在。那怎么可能,我怎样才能得到它?
【问题讨论】:
标签: r apache-spark sparkr
在 SparkR (spark-1.4.0) 中,我想使用 date_add 函数。
https://spark.apache.org/docs/latest/api/R/
但是当我在 SparkR 中输入它时,它说该函数不存在。那怎么可能,我怎样才能得到它?
【问题讨论】:
标签: r apache-spark sparkr
您链接到的文档适用于 1.5.2 版。您的版本可能还没有此功能。根据下面的 cmets,您将需要更新 Spark 和 SparkR。
【讨论】:
在 1.4.0 中可以使用原始 SQL 调用它:
library(magrittr)
hiveContext <- sparkRHive.init(sc)
df <- createDataFrame(hiveContext, data.frame(ts=c("2015-12-01"))) %>%
select(alias(cast(.$ts, "date"), "ts"))
df %>% selectExpr("ts", "date_add(ts, 1) AS next_day") %>% head
## ts next_day
## 1 2015-12-01 2015-12-02
【讨论】: