Google BigQuery Payload 大小限制为 10485760 字节答案

【问题标题】：Google BigQuery Payload size limit of 10485760 bytesGoogle BigQuery Payload 大小限制为 10485760 字节
【发布时间】：2020-01-22 09:41:57
【问题描述】：

我们在尝试将数据流式传输到 bigquery 表时遇到错误，它说：有效负载大小限制为 10485760 字节，有人知道吗？根据我们用来将数据从 sql server 移动到 bigquery 表的第三方集成供应商，他们建议这是 bigquery 的问题？

谢谢。最好的问候，

【问题讨论】：

发送小于 10 兆字节的负载？
你能发布整个错误吗？

标签： google-bigquery

【解决方案1】：

BigQuery 有一些最大限制，也有一些配额政策，如您所见here。

流媒体的限制是：

如果插入行时不填充 insertId 字段：

每秒最大行数：1,000,000

每秒最大字节数：1 GB

如果在插入行时填充 insertId 字段：

每秒最大行数：100,000

每秒最大字节数：100 MB

无论您是否填充 insertId 字段，都适用以下额外的流式传输配额：

最大行大小：1 MB

HTTP 请求大小限制：10 MB

每个请求的最大行数：每个请求 10,000 行

insertId 字段长度：128

希望对你有帮助

【讨论】：

【解决方案2】：

实际上，每个请求的流式传输限制为 10MB。

根据https://cloud.google.com/bigquery/quotas，行大小为1MB

您需要做的是并行化流式作业。 BigQuery 最高支持每秒 1M/行。

【讨论】：

希望 google bigquery 可以增加每个请求的大小限制？当行大小很大时，即使是并行也无济于事，因为我们试图减少所有并行作业的每个请求的行数，而且速度非常慢。因为当一个表有很多行大小很大的行时，它必须向 bigquery 发出很多请求，这不是很可行的选择。谢谢。
@JJZ 与您的 Google 联系人联系，询问您如何请求限制更新。