【问题标题】：Difference between "ROWS BETWEEN" and "RANGE BETWEEN" in (Presto) window function "OVER" clause(Presto) 窗口函数“OVER”子句中“ROWS BETWEEN”和“RANGE BETWEEN”的区别
【发布时间】：2020-06-03 17:49:01
【问题描述】：

这个问题主要是关于 PrestoSQL 的旧版本，这些问题已经在（现在更名的）Trino 项目中解决了 346. 然而，亚马逊的 Athena 项目基于 Presto 版本 0.217（Athena 引擎 2）和 0.172（Athena 引擎 1），它们确实存在下述问题。这个问题是专门围绕 Athena Engine 1 / PrestoSQL 版本 0.172 编写的

问题（tl;dr）

Presto 窗口函数中的ROWS BETWEEN 和RANGE BETWEEN 有什么区别？
- 这些只是彼此的同义词，还是存在核心概念差异？
- 如果它们只是同义词，为什么ROWS BETWEEN 允许的选项比RANGE BETWEEN 多？
是否存在可以在ROWS BETWEEN 和RANGE BETWEEN 上使用完全相同的参数并获得不同结果的查询场景？
- 如果只使用unbounded/current row，是否存在使用RANGE 而不是ROWS（反之亦然）的情况？
既然ROWS 有更多选项，为什么文档中根本没有提到呢？ o_O

presto documentation 甚至对RANGE 都相当安静，并且没有提及ROWS。我没有在 Presto 中找到很多关于窗口函数的讨论或示例。我开始设置 Presto 代码库来尝试解决这个问题。希望有人能把我从这件事中解救出来，我们可以一起改进文档。

Presto 代码有a parser 和test cases 用于ROWS 变体，但有no mention in the documentation 和ROWS。

我发现ROWS 和RANGE 的test cases 没有测试两种语法之间的任何不同。

它们几乎看起来像同义词，但在我的测试中它们的行为确实不同，并且具有不同的 allowed parameters 和 validation rules。

以下示例可以使用运行 Presto 0.213-e-0.1 的 starburstdata/presto Docker 映像运行。通常我通过 Amazon Athena 运行 Presto 0.172，并且几乎总是最终使用 ROWS。

范围

RANGE 似乎仅限于“UNBOUNDED”和“CURRENT ROW”。以下返回错误：

range between 1 preceding and 1 following

use tpch.tiny;

select custkey, orderdate,
       array_agg(orderdate) over ( 
           partition by custkey 
           order by orderdate asc 
           range between 1 preceding and 1 following
       ) previous_orders 
from orders where custkey in (419, 320) and orderdate < date('1996-01-01')
order by custkey, orderdate asc;

错误： Window frame RANGE PRECEDING is only supported with UNBOUNDED

以下范围语法可以正常工作（预期不同的结果）。 以下所有示例均基于上述查询，只是更改了范围

range between unbounded preceding and current row

 custkey | orderdate  |                             previous_orders
---------+------------+--------------------------------------------------------------------------
     320 | 1992-07-10 | [1992-07-10]
     320 | 1992-07-30 | [1992-07-10, 1992-07-30]
     320 | 1994-07-08 | [1992-07-10, 1992-07-30, 1994-07-08]
     320 | 1994-08-04 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04]
     320 | 1994-09-18 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18]
     320 | 1994-10-12 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     419 | 1992-03-16 | [1992-03-16]
     419 | 1993-12-29 | [1992-03-16, 1993-12-29]
     419 | 1995-01-30 | [1992-03-16, 1993-12-29, 1995-01-30]

range between current row and unbounded following

 custkey | orderdate  |                             previous_orders
---------+------------+--------------------------------------------------------------------------
     320 | 1992-07-10 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1992-07-30 | [1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-07-08 | [1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-08-04 | [1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-09-18 | [1994-09-18, 1994-10-12]
     320 | 1994-10-12 | [1994-10-12]
     419 | 1992-03-16 | [1992-03-16, 1993-12-29, 1995-01-30]
     419 | 1993-12-29 | [1993-12-29, 1995-01-30]
     419 | 1995-01-30 | [1995-01-30]

无限前导和无限后继之间的范围

 custkey | orderdate  |                             previous_orders
---------+------------+--------------------------------------------------------------------------
     320 | 1992-07-10 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1992-07-30 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-07-08 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-08-04 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-09-18 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-10-12 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04, 1994-09-18, 1994-10-12]
     419 | 1992-03-16 | [1992-03-16, 1993-12-29, 1995-01-30]
     419 | 1993-12-29 | [1992-03-16, 1993-12-29, 1995-01-30]
     419 | 1995-01-30 | [1992-03-16, 1993-12-29, 1995-01-30]

行

RANGE 的三个工作示例都适用于ROWS，并产生相同的输出。

rows between unbounded preceding and current row
rows between current row and unbounded following
rows between unbounded preceding and unbounded following

输出省略 - 与上面相同

但是，ROWS 允许更多的控制，因为您也可以执行上述 range 失败的语法：

rows between 1 preceding and 1 following

 custkey | orderdate  |           previous_orders
---------+------------+--------------------------------------
     320 | 1992-07-10 | [1992-07-10, 1992-07-30]
     320 | 1992-07-30 | [1992-07-10, 1992-07-30, 1994-07-08]
     320 | 1994-07-08 | [1992-07-30, 1994-07-08, 1994-08-04]
     320 | 1994-08-04 | [1994-07-08, 1994-08-04, 1994-09-18]
     320 | 1994-09-18 | [1994-08-04, 1994-09-18, 1994-10-12]
     320 | 1994-10-12 | [1994-09-18, 1994-10-12]
     419 | 1992-03-16 | [1992-03-16, 1993-12-29]
     419 | 1993-12-29 | [1992-03-16, 1993-12-29, 1995-01-30]
     419 | 1995-01-30 | [1993-12-29, 1995-01-30]

rows between current row and 1 following

 custkey | orderdate  |     previous_orders
---------+------------+--------------------------
     320 | 1992-07-10 | [1992-07-10, 1992-07-30]
     320 | 1992-07-30 | [1992-07-30, 1994-07-08]
     320 | 1994-07-08 | [1994-07-08, 1994-08-04]
     320 | 1994-08-04 | [1994-08-04, 1994-09-18]
     320 | 1994-09-18 | [1994-09-18, 1994-10-12]
     320 | 1994-10-12 | [1994-10-12]
     419 | 1992-03-16 | [1992-03-16, 1993-12-29]
     419 | 1993-12-29 | [1993-12-29, 1995-01-30]
     419 | 1995-01-30 | [1995-01-30]

rows between 5 preceding and 2 preceding

 custkey | orderdate  |                 previous_orders
---------+------------+--------------------------------------------------
     320 | 1992-07-10 | NULL
     320 | 1992-07-30 | NULL
     320 | 1994-07-08 | [1992-07-10]
     320 | 1994-08-04 | [1992-07-10, 1992-07-30]
     320 | 1994-09-18 | [1992-07-10, 1992-07-30, 1994-07-08]
     320 | 1994-10-12 | [1992-07-10, 1992-07-30, 1994-07-08, 1994-08-04]
     419 | 1992-03-16 | NULL
     419 | 1993-12-29 | NULL
     419 | 1995-01-30 | [1992-03-16]

【问题讨论】：

range 用于定义覆盖the last 6 months 之类的内容的窗口，无论包含多少行。但我不知道 Presto。
@a_horse_with_no_name 所以听起来其他 SQL 引擎/语法允许 RANGE 基于列值，Presto 似乎不支持。如果是这种情况，那么 Presto 应该更倾向于记录 ROWS 函数，因为这基本上就是它所支持的全部内容。这确实是有道理的——“UNBOUNDED”在两种情况下都是一样的。
解释见这里：modern-sql.com/blog/2019-02/postgresql-11#over
sqlitetutorial.net/sqlite-window-functions/sqlite-window-frame SQLite 的这个解释也非常符合 Presto 的使用行为。
只是想插话并感谢您的体贴、勤奋和对本文清晰度的承诺。这是我们在拼命寻找 SO 时都希望找到的“宝石”之一。赞一个！

标签： window-functions amazon-athena presto trino

【解决方案1】：

ROWS 实际上是您要聚合的前后的行数。所以ORDER BY day ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING 会以 3 行结束：curnet 行前 1 行和后 1 行，无论 orderdate 的值如何。
RANGE 将查看 orderdate 的值，并决定哪些应该聚合，哪些不应该聚合。所以ORDER BY day RANGE BETWEEN 1 PRECEDING AND 1 FOLLOWING 理论上会占用所有值为 orderdate-1、orderdate 和 orderdate+1 的行——这可能超过 3 行（参见更多解释 here）

在 Presto 中，ROWS 已完全实现，但 RANGE 不知何故仅部分实现，您只能与 CURRENT ROW 和 UNBOUNDED 一起使用。

注意： Trino (formerly known as Presto SQL) 的最新版本已完整支持RANGE 和GROUPS 框架。见this blog post 解释它们的工作原理。

在 Presto 中，要查看两者之间的差异，最好的方法是确保 order 子句的值相同：

WITH
   tt1  (custkey, orderdate, product) AS 
      ( SELECT * FROM ( VALUES ('a','1992-07-10', 3), ('a','1993-08-10', 4), ('a','1994-07-13', 5), ('a','1995-09-13', 5), ('a','1995-09-13', 9), ('a','1997-01-13', 4),
                               ('b','1992-07-10', 6), ('b','1992-07-10', 4), ('b','1994-07-13', 5), ('b','1994-07-13', 9), ('b','1998-11-11', 9) )  )

SELECT *, 
       array_agg(product) OVER (partition by custkey) c, 
       array_agg(product) OVER (partition by custkey order by orderdate) c_order,
       
       array_agg(product) OVER (partition by custkey order by orderdate RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) range_ubub,
       array_agg(product) OVER (partition by custkey order by orderdate ROWS  BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) rows_ubub,
       
       array_agg(product) OVER (partition by custkey order by orderdate RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) range_ubc,
       array_agg(product) OVER (partition by custkey order by orderdate ROWS  BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) rows_ubc,
       
       array_agg(product) OVER (partition by custkey order by orderdate RANGE BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) range_cub,
       array_agg(product) OVER (partition by custkey order by orderdate ROWS  BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) rows_cub,
       
       -- array_agg(product) OVER (partition by custkey order by orderdate RANGE BETWEEN 2 PRECEDING AND 2 FOLLOWING)  range22,
          -- SYNTAX_ERROR: line 19:65: Window frame RANGE PRECEDING is only supported with UNBOUNDED
       array_agg(product) OVER (partition by custkey order by orderdate ROWS  BETWEEN 2 PRECEDING AND 2 FOLLOWING)  rows22

from tt1
order by custkey, orderdate, product

您可以运行，查看完整结果，并从中学习..

这里只放一些有趣的专栏：

custkey   orderdate     product    range_ubc           rows_ubc
a         10/07/1992    3          [3]                 [3]
a         10/08/1993    4          [3, 4]              [3, 4]
a         13/07/1994    5          [3, 4, 5]           [3, 4, 5]
a         13/09/1995    5          [3, 4, 5, 5, 9]     [3, 4, 5, 5]
a         13/09/1995    9          [3, 4, 5, 5, 9]     [3, 4, 5, 5, 9]
a         13/01/1997    4          [3, 4, 5, 5, 9, 4]  [3, 4, 5, 5, 9, 4]
b         10/07/1992    4          [6, 4]              [6, 4]
b         10/07/1992    6          [6, 4]              [6]
b         13/07/1994    5          [6, 4, 5, 9]        [6, 4, 5]
b         13/07/1994    9          [6, 4, 5, 9]        [6, 4, 5, 9]
b         11/11/1998    9          [6, 4, 5, 9, 9]     [6, 4, 5, 9, 9]

如果您查看第 5 行：orderdate:13/09/1995, product:5（注意：13/09/1995 出现两次custkey:a）您可以看到 ROWS确实将所有行从顶部到当前行。但是，如果您查看 RANGE，您会发现它还包含行 after 中的值，因为它具有完全相同的 orderdate，因此它被考虑窗口。

【讨论】：

谢谢！非常清楚:) 如果整个窗口已满，是否也可以只进行计算？或者您应该为此将其包装在case when 中吗？ ://
谢谢。除了将其包装在 case when.. 中之外，我不知道有任何其他方式
看到 Trino（以前的 Presto）更全面地实现了该功能，这令人鼓舞——谢谢。就上下文而言，亚马逊的 Athena 产品仍然基于 Presto 0.217（Athena 引擎 v2）或 Presto 0.172（Athena 引擎 v1）构建，因此 AWS Athena 的功能仍然有限。希望他们在 v3 引擎的版本中实现更大的飞跃，我们可以在那里看到这些增强功能。

问题（tl;dr）

评论

范围

行