【问题标题】:BigQuery quota for concurrent queries并发查询的 BigQuery 配额
【发布时间】:2021-03-29 07:34:17
【问题描述】:

我们有一个应用程序可以根据用户存储的列生成过滤器面板。这是一个例子:

这些查询同时运行,因此我们可以一次性加载侧边栏。页面上的每个操作都会导致 N + 1 个并发查询,其中 N = 页面上的过滤器数量。当>5个用户同时使用应用程序时,很有可能会有"rate exceeded" exceptions。

有没有什么方法可以要求放宽这个单一的配额?不幸的是,如果我们要为后端实现 BQ,这个特定的配额将使我们的应用程序几乎无法运行。

【问题讨论】:

  • 您是使用用户凭据还是仅使用一个(相同)服务帐户运行这些查询?
  • @MikhailBerlyant 只有一个帐户。

标签: sql google-bigquery


【解决方案1】:

我不确定您是否可以更改配额(您可能需要为此联系您的sales representative)
同时,如果您真的同时调用所有这些 N+1 个查询 - 我看到另一种选择是将所有这些 N+1 个查询合并到一个查询中,从而大大减少总查询量。
从您的问题中不清楚您的查询到底是什么样子 - 取决于这一点,使一个查询可能或多或少具有挑战性 - 但这绝对是一种选择

【讨论】:

  • 谢谢,我给他们发了一封电子邮件,让我们看看是否可行。
  • 我们之前曾要求 Google 提升/提高配额,他们一直非常乐于助人。如果您通过 BigQuery 运行一些体面的工作负载,他们很可能会尝试帮助您。
  • 我们只是在我们的支持频道上开了一张票。如果您没有支持,那么您的销售代表就是最好的人选。您的 BigQuery 工作负载有多大,例如您每月处理/存储多少数据?
猜你喜欢
  • 2018-08-23
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多