【问题标题】:Resources exceeded during a query execution when building a derived table构建派生表时查询执行期间超出资源
【发布时间】:2018-04-23 23:52:30
【问题描述】:

表结构:。 InvoiceLineKey(字符串),
收入(浮动),
COGS(浮动),
成本1(浮动),
成本2(浮动),
成本3(浮动),
成本 4(浮动),
成本 5(浮动),
利润(浮动),
QSPEC(浮点数)。

行数:60,000,000 条记录

选择
发票行键,
收入,
销货成本,
成本1,
成本2,
成本3,
成本4,
成本5,
利润,
"" 作为 QSPEC,
RANK() OVER(ORDER BY Revenue DESC) 作为排名,
SUM(Revenue) OVER(ORDER BY Revenue DESC) AS CumulativeRevenue
来自
[pi-training:training.training_fact]
在哪里
收入 > 0
订购者
收入 DESC
查询失败,错误为:

查询执行期间资源超出:查询无法 在分配的内存中执行。 ORDER BY 运算符使用过多 记忆..

【问题讨论】:

  • 你能包括准确的错误信息输出吗?还是您得到的只是“查询执行期间超出资源”?
  • 查询失败错误:查询执行期间资源超出:无法在分配的内存中执行查询。 ORDER BY 运算符使用了太多内存..
  • 表格有多少行?使用标准 SQL 时是否会遇到同样的错误? (我假设你会,但值得检查)。
  • 欢迎来到 Stack Overflow!我将您的代码标记为代码示例并包含错误。但是您的问题仍然需要更具体,例如描述您正在处理的数据。
  • 是的,与标准 SQL 相同的错误。表:60,000,000 条记录

标签: google-bigquery


【解决方案1】:

假设InvoiceLineKey 的大小约为 8 字节(与浮点列大小相同),6000 万行意味着结果大小约为 4.8 GB。 documentation on "Managing Query Outputs" for BigQuery 解释说,在大型数据集上使用 ORDER BY 时,您应该包含 LIMIT 或过滤器。

在您的情况下,假设大约十分之一的 Revenue 值大于 10000,并且这些是您要返回的值,您可以使用 WHERE Revenue >= 10000 将要排序的行数限制为更小数据的子集。

【讨论】:

    猜你喜欢
    • 2013-05-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-03-11
    • 1970-01-01
    相关资源
    最近更新 更多