如何引用 BigQuery SQL 中先前行的列值，以便执行操作或计算？

Question

我已按开始时间对数据进行了排序，我想创建一个新字段来汇总与前几行开始时间和结束时间重叠的开始时间的数据。

更具体地说，我想编写逻辑，对于给定的记录 X，如果开始时间介于前一行的开始时间和结束时间之间，我想为记录 X 赋予与新字段相同的值前一行。如果开始时间在上一行的结束时间之后，它将为新字段获取一个新值。

在 BigQuery SQL 中是否可能出现这样的情况？正在考虑可能是滞后或窗口功能，但不太确定。下面是基本表的示例以及我想要的最终表的示例。

任何见解都值得赞赏！

Answer 1

以下是 BigQuery 标准 SQL

#standardSQL
SELECT recordID, startTime, endTime,
  COUNTIF(newRange) OVER(ORDER BY startTime) AS newRecordID
FROM (
  SELECT *, 
    startTime >= MAX(endTime) OVER(ORDER BY startTime ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING) AS newRange
  FROM `project.dataset.table`
)

您可以使用您问题中的示例数据进行测试，使用上面的示例，如下例所示

#standardSQL
WITH `project.dataset.table` AS (
  SELECT 1 recordID, TIME '12:35:00' startTime, TIME '12:50:00' endTime UNION ALL
  SELECT 2, '12:46:00', '12:59:00' UNION ALL
  SELECT 3, '14:27:00', '16:05:00' UNION ALL
  SELECT 4, '15:48:00', '16:35:00' UNION ALL
  SELECT 5, '16:18:00', '17:04:00' 
)
SELECT recordID, startTime, endTime,
  COUNTIF(newRange) OVER(ORDER BY startTime) AS newRecordID
FROM (
  SELECT *, 
    startTime >= MAX(endTime) OVER(ORDER BY startTime ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING) AS newRange
  FROM `project.dataset.table`
)
-- ORDER BY startTime

结果

Row recordID    startTime   endTime     newRecordID  
1   1           12:35:00    12:50:00    0    
2   2           12:46:00    12:59:00    0    
3   3           14:27:00    16:05:00    1    
4   4           15:48:00    16:35:00    1    
5   5           16:18:00    17:04:00    1    

Answer 2

这是一个空白和孤岛问题。您想要做的是将组 ID 分配给不相交的组。您可以使用窗口函数计算非交叉点。

如果结束时间的累积最大值（按开始时间排序并在前一条记录结束）小于当前结束时间，则记录开始一个新组。其余的只是分配组 id 的累积总和。

对于您的数据：

select t.*,
       sum(case when prev_endtime >= endtime then 0 else 1 end) over (order by starttime) as group_id
from (select t.*,
             max(endtime) over (order by starttime rows between unbounded preceding and 1 preceding) as prev_endtime
      from t
     ) t;

唯一的潜在问题是两条记录是否同时开始。如果发生这种情况，逻辑可能需要稍微复杂一些。