Google BigQuery 请求过大答案

【问题标题】：Google BigQuery Request Too LargeGoogle BigQuery 请求过大
【发布时间】：2015-03-04 19:06:39
【问题描述】：

我已经有一段时间没有机会研究 pandas GBQ 模块了，但我注意到我们的一个回归测试现在失败了。

有问题的测试是：

简而言之，测试尝试创建一个包含 5 列（类型为 Boolean、Float、String、Integer、Timestamp）和每列 1,000,001 行的表。以 10,000 行为一组插入这些行失败，并返回“请求太大”的响应。

我觉得这可能会得到与Getting "Query too large" in BigQuery 类似的答案 - 但鉴于此测试在之前的工作情况，我想知道是否存在需要解决的后端问题。也有可能在我不看的时候更改了 API！

TLDR 版本：我们的插入量太大了怎么办？是否有可以参考的记录限制？

【问题讨论】：

【解决方案1】：

记录的限制在这里：

TL;DR 回答：虽然 BQ 目前并未严格执行每个请求的最大行数为 500 行/插入，但 API 堆栈中的其他一些限制与总体请求大小相关，这些限制阻止了调用从成功开始。

【讨论】：

是的 - Pandas 使用 Big Query API 的流式上传，甚至提到你可以根据大小得到错误：pandas.pydata.org/pandas-docs/stable/generated/…
我们在编写原始 GBQ 库和相应的文档时就知道了限制。之前通过的测试突然出现问题，这似乎很奇怪。我特别关心这 500 行/一次插入。有趣的是，今天再次尝试时，它起作用了（至少是一个月以来的第一次）。不知道有没有改正。