将行分组为一个

Question

假设有这样一个源表：

Year        Long       Lat        Values    
========================================
2015         8          1           12     
2015         8          1           43
2015         8          1           11
...

命运表应该是这样的：

Year        Long       Lat        Field1          Field2        Field3  
========================================================================
2015         8          1           12             43             11
...

¿我怎样才能在单个查询中做这样的事情（在 Google BigQuery 中使用）？

这些帖子可能是我想要的一种方法：post1post2

“问题”是我将在 Python Google Dataflow 管道中使用此查询，因此由于使用 apache 光束的读写限制，我需要在单个选择中执行此操作（您可以避免插入语句，因为我将为此使用 apache 光束功能）。

额外

使用这个选择

select Fecha, Longitud, Latitud,
       ARRAY_AGG(Valor) as vector     
from `poc-cloud-209212.PruebasIoT.CanonicalFrames`
group by Fecha, Longitud, Latitud

如果我尝试使用：

select Fecha, Longitud, Latitud,
       ARRAY_AGG(Valor)[offset(0)] as field1,    
       ARRAY_AGG(Valor)[offset(1)] as field2
from `poc-cloud-209212.PruebasIoT.CanonicalFrames`
group by Fecha, Longitud, Latitud

我有错误：

Array index 1 is out of bounds (overflow)

---

解决方案

这对我的用例有用：

简单的查询更容易理解，您可以根据这篇文章的表格（可能有更多的行，具有与架构中显示的不同的值）：

select year, long, lat,
       array_agg(values)[SAFE_OFFSET(0)] as field1,
       array_agg(values)[SAFE_OFFSET(1)] as field2,
       array_agg(values)[SAFE_OFFSET(2)] as field3
from t
group by year, long, lat;

Answer 1

您可以使用条件聚合。但我认为更典型的方法是将字段放入数组中：

select year, long, lat,
       array_agg(values)
from t
group by year, long, lat;

请注意，不保证结果的顺序。 SQL 表表示 无序 集，并且您的数据没有指定排序的列。

您可以轻松地将其扩展到字段：

select year, long, lat,
       array_agg(values)[offset(0)] as field1,
       array_agg(values)[offset(1)] as field2,
       array_agg(values)[offset(2)] as field3
from t
group by year, long, lat;