BigQuery 数据仓库/实时数据/配额答案

【问题标题】：BigQuery Datawarehouseing / live data / quotasBigQuery 数据仓库/实时数据/配额
【发布时间】：2020-03-10 08:17:06
【问题描述】：

我目前正在使用 BigQuery 进行数据仓库项目。

BQ曾经有这个配额：

每日目标表更新限制 - 每个表每天 1,000 次更新

虽然此配额仍在文档中，但我知道根据这篇博文，他的配额已被删除：

在我们的项目中，我们需要需要大量更新的实时数据。在这篇博文之前，我会收集记录，例如在 GCS 上，每 14 分钟将它们推送到 BQ。

取消表更新限制后，我们现在可以将所有数据立即流式传输到 BQ，这对于我们的解决方案实际上至关重要，因为需要实时数据。

问题：您现在建议将数据直接传输到 BQ 吗？有异议吗？

我之所以这样问，是因为我认为只是因为配额已被删除，这不会自动成为最佳做法。您如何处理实时数据的需求？之前的另一个选择是具有已知限制的外部数据源。

感谢您的回答！

【问题讨论】：

现在，值得一提的是，DML 没有限制，因此您可以将数据加载到临时表，然后是无限制的 INSERT AS SELECT 语句，这使得每个表每天 1K 的配额无关紧要。跨度>

【解决方案1】：

此配额从未应用于streaming。博客中提到的配额仅适用于通过 DML 查询的更新 - 带有 INSERT、UPDATE、MERGE、DELETE 语句的 SQL 语句。

流式插入（通过 tabledata.InsertAll API，而不是 SQL 命令）have different limits：

如果您确实需要实时数据 - 一定要使用流媒体。请注意，它比 GCS 更新成本更高，但如果您需要新数据 - 这是可行的方法。

【讨论】：