【发布时间】:2013-07-20 17:26:24
【问题描述】:
在 pig 11 中,是否支持比较日期时间类型?例如:date1:datetime
过滤条件:date1 >= ToDate('1999-01-01')
这个比较是否返回正确的结果?
【问题讨论】:
标签: datetime compare apache-pig
在 pig 11 中,是否支持比较日期时间类型?例如:date1:datetime
过滤条件:date1 >= ToDate('1999-01-01')
这个比较是否返回正确的结果?
【问题讨论】:
标签: datetime compare apache-pig
日期比较可视为数值比较。 例如:
cat date1.txt
1999-01-01
2011-03-19
2011-02-24
2011-02-25
2011-05-23
1978-12-13
A = load 'date1.txt' as (in:chararray);
B = foreach A generate ToDate(in, 'yyyy-MM-dd') as (dt:datetime);
--filter dates that are equal or greater than 2011-02-25:
C = filter B by DaysBetween(dt,
(datetime)ToDate('2011-02-25', 'yyyy-MM-dd')) >=(long)0;
dump C;
(2011-03-19T00:00:00.000+01:00)
(2011-02-25T00:00:00.000+01:00)
(2011-05-23T00:00:00.000+02:00)
传递给ToDate 的自定义格式模式遵循Java 的SimpleDateFormat 约定。
注意大写和小写字母,例如 D 表示 一年中的一天,而 d 表示 一个月中的一天 。这可能导致从 chararray 到 datetime 的日期转换不适当。
或者,如果您的 chararray 日期是 ISO 格式,您也可以使用 Piggybank 的 UDF。
【讨论】: