为 BigQuery 中的每个 ID 获取最新行的可扩展解决方案

Question

我有一个很大的表，其中有一个字段ID，另一个字段为collection_time。我想为每个 ID 选择最新记录。不幸的是，(ID, collection_time) 时间的组合在我的数据中并不是唯一的。我只想要最大collection time 的记录之一。我尝试了两种解决方案，但没有一个对我有用：

首先：使用查询

SELECT *  FROM 
(SELECT *, ROW_NUMBER() OVER (PARTITION BY ID ORDER BY collection_time) as rn 
FROM mytable)  where rn=1

这导致Resources exceeded 错误，我猜是因为查询中的ORDER BY。

第二 在表和最新时间​​之间使用连接：

(SELECT tab1.* 
FROM mytable AS tab1
INNER JOIN EACH 
(SELECT ID, MAX(collection_time) AS second_time 
FROM mytable GROUP EACH BY ID) AS tab2
ON tab1.ID=tab2.ID AND tab1.collection_time=tab2.second_time) 

这个解决方案对我不起作用，因为(ID, collection_time) 不是唯一的，所以在JOIN 结果中每个ID 会有多行。

我想知道是否有针对 resourcesExceeded 错误的解决方法，或者在我的情况下可以使用不同的查询？

Answer 1

短且可扩展的版本：

select array_agg(t order by collection_time desc limit 1)[offset(0)].*
from mytable t
group by t.id;

Answer 2

SELECT
  agg.table.*
FROM (
  SELECT
    id,
    ARRAY_AGG(STRUCT(table)
    ORDER BY
      collection_time DESC)[SAFE_OFFSET(0)] agg
  FROM
    `dataset.table` table
  GROUP BY
    id)

这将为您完成这项工作，并且考虑到架构不断变化的事实，它是可扩展的，您不必更改它

Answer 3

如果你不关心为每一列写一段代码：

SELECT ID, 
  ARRAY_AGG(col1 ORDER BY collection_time DESC)[OFFSET(0)] AS col1,
  ARRAY_AGG(col2 ORDER BY collection_time DESC)[OFFSET(0)] AS col2
FROM myTable
GROUP BY ID

Answer 4

另一种解决方案，它可能更具可扩展性，因为它避免了对同一个表的多次扫描（上述答案中的自联接和相关子查询都会发生这种情况）。此解决方案仅适用于标准 SQL（取消选中“使用旧版 SQL”选项）：

SELECT 
  ID, 
  (SELECT srow.* 
   FROM UNNEST(t.srows) srow 
   WHERE srow.collection_time = MAX(srow.collection_time))
FROM
  (SELECT ID, ARRAY_AGG(STRUCT(col1, col2, col3, ...)) srows 
   FROM id_table 
   GROUP BY ID) t

Answer 5

快速而肮脏的选项 - 将您的两个查询合并为一个 - 首先使用最新的 collection_time 获取所有记录（使用您的第二个查询），然后使用您的第一个查询对它们进行重复数据删除：

SELECT * FROM (
  SELECT *, ROW_NUMBER() OVER (PARTITION BY tab1.ID) AS rn 
  FROM (
    SELECT tab1.* 
    FROM mytable AS tab1
    INNER JOIN (
      SELECT ID, MAX(collection_time) AS second_time 
      FROM mytable GROUP BY ID
    ) AS tab2
    ON tab1.ID=tab2.ID AND tab1.collection_time=tab2.second_time
  )
)
WHERE rn = 1  

并且使用标准 SQL（由 S.Mohsen sh 提出）

WITH myTable AS (
  SELECT 1 AS ID, 1 AS collection_time
),
tab1 AS (
  SELECT ID,
  MAX(collection_time) AS second_time 
  FROM myTable GROUP BY ID
),
tab2 AS (
  SELECT * FROM myTable
),
joint AS (
  SELECT tab2.* 
  FROM tab2 INNER JOIN tab1
  ON tab2.ID=tab1.ID AND tab2.collection_time=tab1.second_time 
)
SELECT * EXCEPT(rn) 
FROM (
  SELECT *, ROW_NUMBER() OVER (PARTITION BY ID) AS rn 
  FROM joint
)
WHERE rn=1

Answer 6

根据您的评论，考虑到您有一个具有唯一ID's 的表，您需要为其找到最新的collection_time。这是使用Correlated Sub-Query 的另一种方法。试试看吧。

SELECT id, 
       (SELECT Max(collection_time) 
        FROM   mytable B 
        WHERE  A.id = B.id) AS Max_collection_time 
FROM   id_table A