【问题标题】:BigQuery: What does 'too many large queries' error mean?BigQuery:“太多大型查询”错误是什么意思?
【发布时间】:2013-08-14 08:30:32
【问题描述】:

我们的 Google BigQuery 应用程序出现以下错误:

Exceeded quota: too many large queries for this project

这是什么意思?什么是“大查询”?我们能以某种方式提高这个配额吗?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    BigQuery 允许同时执行处理多达 400 GB 数据的查询,加上 2 个任意大小的查询。您要达到的是后一个配额。

    我们将 400 GB 容量称为“管道”。您可以一次使用最多 20 个查询来保持该管道充满,这些查询加起来不到 400GB。离开该管道后,您可以运行两个额外的任意大小的查询。

    如果这听起来令人困惑,假设您有两个读取 150 GB 的查询,一个读取 1TB 的数据,一个读取 500GB 的数据。两个较小的查询将适合 400GB 管道,但 500GB 和 1TB 查询将被视为“大”查询。这些都应该能够在配额限制下一起运行。

    但是,如果 150 GB 的查询是 250 GB,则它们不会同时适合 400 GB 的管道,其中一个会被视为“大型”查询,因此您只能运行其中一个1TB 或 500GB 查询。

    BigQUery 团队通常不太愿意提高此特定配额,以防止客户降低其他客户的性能。如果您有充分的理由需要增加配额,如果您通过 http://www.google.com/enterprise/cloud/contact.html 与我们联系,我们可能会为您提供服务。

    另一种选择是以批处理优先级运行一些大型查询。批处理优先级意味着您的结果可能需要更长的时间,但您不会受到与交互式查询相同的限制。

    【讨论】:

    • 谢谢!澄清一下:没有“每日”限制,此配额仅适用于同时运行的查询?
    • 每日限制:20,000 次查询(如果您需要更多,请联系支持人员)。检查developers.google.com/bigquery/quota-policy
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-09-26
    • 1970-01-01
    • 1970-01-01
    • 2014-09-14
    • 1970-01-01
    • 1970-01-01
    • 2011-05-26
    相关资源
    最近更新 更多