Google BigQuery 标准 SQL - 销售滑动窗口

Question

我想知道如何最好地在 BigQuery standardSQL（不是旧版）中同时实现翻转和滑动窗口。

Apache Spark 让这变得非常简单 - 对于长度为 10 分钟的“滑动”窗口，每 5 分钟滑动一次，groupBy(window("10 minutes","5 minutes)) 和滚动窗口 groupBy(window("10分钟”))。

考虑我有一个简化的订单行：

orderId, 
orderPlacedTimestamp, 
orderTotals.grandTotalNet, 
orderTotals.grandTotalGross 

（注意总数的结构）

我需要两个总订单销售价值：

1. 每小时翻滚的销售窗口
2. 滑动 10 MINUTE / 5 MINUTE 窗口（如上所述）。

我开始使用 SQL over，但在分区、时间戳和获取正确的开始和结束窗口方面有点混乱。对于每个结果集应该是：

windowStartTime, 
windowEndTime, 
windowTotalAmount

所以窗口有一个开始和结束时间（这对于滑动至关重要，因为窗口 10 的长度与滑动持续时间 5 不同，因此给定的行可以在多个窗口中）。

如何在 BigQuery 中执行此操作？

使用当前 SQL 更新 11/06：

SELECT 
  TIMESTAMP_SECONDS(FIRST_VALUE(ts_5min*5*60) OVER(w)) as startWindowTime,
  TIMESTAMP_SECONDS(LAST_VALUE(ts_5min*5*60) OVER(w)) as endWindowTime,
  SUM(orderTotalNetConverted) OVER(ORDER BY ts_5min RANGE BETWEEN 1 PRECEDING AND CURRENT ROW) as windowSalesTotal
FROM (
  SELECT 
    CAST(UNIX_SECONDS(TIMESTAMP_TRUNC(orderPlacedTimestamp, MINUTE))/60/5 AS INT64)
      AS ts_5min,
    orderTotalNetConverted
  FROM orders
)
WINDOW w AS (ORDER BY ts_5min RANGE BETWEEN 1 PRECEDING AND CURRENT ROW)
ORDER BY startWindowTime desc

Answer 1

翻滚窗口更容易做到，它只是每小时间隔的常规GROUP BY：

SELECT 
  TIMESTAMP_TRUNC(orderPlacedTimestamp, HOUR), 
  SUM(orderTotals.grandTotalNet)
FROM T
GROUP BY 1

对于滑动窗口，我会首先使用以下方法将时间戳标准化为 5 分钟间隔：

1. TIMESTAMP_TRUNC(orderPlacedTimestamp, MINUTE) 到达分钟边界
2. UNIX_SECONDS 转换为纪元以来的秒数
3. 除以 60 得到分钟
4. 除以 5 得到 5 分钟间隔
5. 四舍五入到整数：

CAST(UNIX_SECONDS(TIMESTAMP_TRUNC(orderPlacedTimestamp, MINUTE))/60/5 AS INT64)

现在您可以使用标准的OVER() 子句来获得10 分钟的窗口，这意味着一次2 个这样的间隔，为了获得开始时间，请使用FIRST_VALUE 解析函数：

SELECT
  orderId,
  TIMESTAMP_SECONDS(FIRST_VALUE(ts_5min*5*60) OVER(w)) startWindowTime,
  TIMESTAMP_ADD(TIMESTAMP_SECONDS(FIRST_VALUE(ts_5min*5*60) OVER(w)),
                INTERVAL 10 MINUTE) endWindowTime,
  SUM(grandTotalNet) OVER(w)
FROM (
  SELECT 
  *,
  CAST(UNIX_SECONDS(TIMESTAMP_TRUNC(orderPlacedTimestamp, MINUTE))/60/5 AS INT64) 
    AS ts_5min
  FROM t
)
WINDOW w AS (ORDER BY ts_5min RANGE BETWEEN 1 PRECEDING AND CURRENT ROW)

Answer 2

下面是sliding 10 MINUTE / 5 MINUTE window

#standardSQL
WITH starts AS (
  SELECT TIMESTAMP_ADD(TIMESTAMP_TRUNC(first, HOUR), INTERVAL step MINUTE) AS start
  FROM 
    (SELECT MIN(orderPlacedTimestamp) AS first, MAX(orderPlacedTimestamp) AS last FROM YourTable), 
    UNNEST(GENERATE_ARRAY(0, TIMESTAMP_DIFF(last, TIMESTAMP_TRUNC(first, HOUR), MINUTE) , 5)) AS step
)
SELECT 
  start, 
  SUM(orderTotals.grandTotalNet) AS net, 
  SUM(orderTotals.grandTotalGross) AS gross
FROM starts AS s JOIN YourTable AS t
ON t.orderPlacedTimestamp BETWEEN s.start AND TIMESTAMP_ADD(start, INTERVAL 10 MINUTE)
GROUP BY start
ORDER BY start 

正如 Mosha 在他的回答中提到的 - 翻滚 HOURLY 窗口很容易 - 但如果您需要不同的窗口侧 - 上述方法更灵活（我认为）并且易于调整任何窗口大小，通过更改相应的 5 键入和10 查询代码
但总的来说 - 想提一下 - 使用解析函数比加入更优化