bigQuery - 加入

Question

我正在尝试在 ID 上加入两个数据库。第一个报价数据库没有网站上的数据，所以我想从日志数据库中加入它。但是，在日志数据库中，ID 不是唯一的，而是 ID 的第一次按时间顺序出现 - 这是正确的网站。 当我运行下面的查询时，我得到：

查询执行期间资源超出。

因此我不知道问题是代码还是其他问题。

谢谢

SELECT ID, user,busWeek, count(*) as num FROM [datastore.quotes] 

Join (
select objectID, first(website) from (
select objectID, website, date from [datastore.allLogs] 
order by date) group by objectID)
as Logs

on ID = objectID

group by ID,user,busWeek

Answer 1

我认为问题在于 ORDER BY。这会将所有计算带到一个节点，从而导致“资源超出”消息。我知道您需要它为每个对象带来第一个（按日期）网站。
尝试重写此选择（内部连接）以进行分区。 例如使用带有 OVER(PARTITION BY ... ORDER BY) 的窗口函数 在这种情况下，我认为，您有机会并行进行此操作

请参阅下文
Window Functions

Answer 2

你可以试试：

SELECT ID, user,busWeek, count(*) as num FROM [datastore.quotes] 

Join EACH (
select objectID, first(website) from (
select objectID, website, date from [datastore.allLogs] 
order by date) group EACH by objectID)
as Logs

on ID = objectID

group by ID,user,busWeek

请注意“EACH” - 将来不再需要该关键字，但它今天仍然有用。