【问题标题】:Select first row each time column changes每次列更改时选择第一行
【发布时间】:2019-07-03 20:57:32
【问题描述】:

我在 postgres 数据库中有下表,有 3 列:

ReaderId: String
TagId: String
Timestamp: Timestamp

ReaderId  TagId  Timestamp
A         T1      20190101-00:00:00  *  ~      
A         T1      20190101-00:00:00     ~
A         T1      20190101-00:00:01    
A         T1      20190101-00:00:02   
B         T1      20190101-00:00:03  *
B         T1      20190101-00:00:03 
B         T1      20190101-00:00:04   
A         T1      20190101-00:00:05  * 
A         T1      20190101-00:00:06 
A         T1      20190101-00:00:07   
C         T1      20190101-00:00:08  *
C         T1      20190101-00:00:09   
B         T2      20190101-00:00:01  *
B         T2      20190101-00:00:04 
B         T2      20190101-00:00:05   
C         T2      20190101-00:00:06  *
C         T2      20190101-00:00:07   
B         T2      20190101-00:00:07  *   ~
B         T2      20190101-00:00:07      ~
B         T2      20190101-00:00:08   

我想要一个查询/函数,当提供 TagId 时,每次在上次读取它的不同读取器读取该标签时返回第一行(或者如果标签从未被读取,则返回第一行之前读过)。根据此条件有资格返回的行由上面的 * 突出显示。如果有多行相同且“同等优先”,则只应返回其中一个(如上面标有 ~ 的行的情况)。

此函数需要高性能,因为预计数据量很容易增长到数百万/低数十亿行。我可以创建任何需要的索引。

我的 SQL 生锈了,而且从一开始就不是很好,所以这里的任何帮助都非常感谢!

【问题讨论】:

  • 你需要一个窗口函数。可能是LAG。您可能需要在子查询中使用LAG,然后在外部查询中应用过滤器。我不确定索引会有多大帮助。您几乎必须在这里进行全表扫描。仅当您可以从查询考虑中排除大量行或它们使您能够避免排序时,索引才有用。我猜时间戳上的索引可能会避免排序,但您仍然需要扫描数十亿行。您可能需要考虑创建一些定期更新的非规范化报告表。
  • 什么决定了具有相同值的前两行的顺序?您需要决胜局还是对任意选择感到满意?如果是这样,是否每隔一次执行选择不同的行是否重要? (这可能很重要。)
  • 对于具有相同值的两行,就我而言,这些行是相同的,所以任意性都可以

标签: sql postgresql


【解决方案1】:

像其他人已经建议的那样使用lag()。但是你指定了:

当提供TagId时

所以你可以简化。也快一点:

SELECT reader_id, tag_id, ts
FROM  (
   SELECT *, lag(reader_id) OVER (ORDER BY ts) IS DISTINCT FROM reader_id AS pick
   FROM   tbl
   WHERE  tag_id = 'T1'  --  your tag_id here
   ) sub
WHERE  pick;

db小提琴here

也适用于reader_id 列中的NULL 值。

您可以将其包装在 SQL 函数或准备好的语句中,并且只传递您的 tag_id。

【讨论】:

    【解决方案2】:

    只需使用lag():

    select t.*
    from (select t.*,
                 lag(ReaderId) over (partition by TagId order by Timestamp) as prev_ReaderId
          from t
         ) t
    where prev_ReaderId is null or prev_ReaderId <> ReaderId;
    

    在 Postgres 中,您可以将 where 子句缩短为:

    where prev_ReaderId is distinct from ReaderId
    

    【讨论】:

      【解决方案3】:

      使用窗口函数lag():

      select 
          reader_id, tag_id, timestamp
      from (
          select
              reader_id, tag_id, timestamp,
              lag(reader_id) over (partition by tag_id order by timestamp)
          from my_table
          ) s
      where lag is distinct from reader_id
      order by tag_id, timestamp
      

      窗口函数很昂贵,但替代解决方案(如果存在)不能更便宜。 (tag_id, timestamp) 上的索引将支持查询。

      db<>fiddle.上的在线演示

      阅读窗口函数in the documentation.

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2011-10-16
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2012-08-17
        • 1970-01-01
        相关资源
        最近更新 更多