【问题标题】:Split data set in fixed interval batches, while getting the first and last row of the batch以固定间隔批次拆分数据集,同时获取批次的第一行和最后一行
【发布时间】:2021-09-17 08:45:15
【问题描述】:

我有一个如下所示的数据集:

id name value timestamp
1 Indicator1 5 "2021-07-06 20:28:59.999+03"
2 Indicator1 6 "2021-07-06 20:29:59.999+03"
3 Indicator1 14 "2021-07-06 20:30:59.999+03"
4 Indicator2 1 "2021-07-06 20:31:59.999+03"
5 Indicator2 3 "2021-07-06 20:32:59.999+03"
etc

时间戳相隔 1 分钟。

我想从这个数据集中得到对应的行组,比如 5 分钟的间隔,同时获取每组中的第一个和最后一个值/行。我必须计算固定时间间隔内的一些值差异。有点像k线。

到目前为止,我只获取第一个间隔,然后重复此查询以使用不同的 where 子句获取后续(较旧的间隔):

select r.name,
        r.value_end - r.value_start as value_increase,
        interval '5 min' as time_interval
from 
(select k.name, 
        FIRST_VALUE(k.value) over w as value_start, 
        LAST_VALUE(k.value) over w as value_end,
        ROW_NUMBER() over w as rownum
from dataset k
where k.timestamp >= (now() - interval '5 min')
window w as (partition by k.name order by k.timestamp RANGE BETWEEN 
            UNBOUNDED PRECEDING AND 
            UNBOUNDED FOLLOWING)) as r
where r.rownum = 1

有没有办法用 Postgres 做到这一点?

【问题讨论】:

  • 时间戳是否保证始终相隔 1 分钟(或者我们是否必须对此进行检查?)?如果是这样,您不能只为每个记录顺序分配一个行号,然后使用没有余数的 mod X 来获取您的间隔吗?
  • 你说得对,@xQbert,它们并不总是相隔 1 分钟。自从我在问题中应用了解决方案以来,我没有考虑太多。尽管如此,使用 mod X 的方法很有趣。谢谢!

标签: sql postgresql sliding-window


【解决方案1】:

基本上,您要做的就是在五分钟内为时间戳分配一个分组。一种方法是使用纪元时间和一些算术,而不是摆弄时间戳算术:

select min(timestamp), max(timestamp),
       min(case when seqnum = 1 then value end) value_first,
       min(case when seqnum = cnt then value end) value_last
from (select d.*, v.m,
             row_number() over (partition by v.m order by timestamp) as seqnum,
             count(*) over (partition by v.m) as cnt
      from dataset d cross join lateral
           (values (floor(extract(epoch from d.timestamp) / (24 * 60 * 12))
           ) v(m)
     ) t
group by v.m;

【讨论】:

    猜你喜欢
    • 2014-09-05
    • 2013-12-28
    • 1970-01-01
    • 1970-01-01
    • 2020-07-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多