Pandas gbq 加载 - to_gbq 超时异常

Question

任何人都知道这个错误的线索：

{u'kind': u'bigquery#tableDataInsertAllResponse', u'insertErrors': [{u'index': 90, u'errors': [{u'reason': u'timeout'}]},

我正在尝试执行：

from pandas.io import gbq

df.to_gbq(tablename, project_id=projectid)

df - 是一个有几百万行的数据框。

谢谢。

Answer 1

BigQuery 支持批量插入部分成功。从回复来看，第 90 行似乎未能插入，原因是“超时”。有关响应的描述，请参阅https://cloud.google.com/bigquery/streaming-data-into-bigquery#troubleshooting 的“成功 HTTP 响应代码”。

如果您使用的是插入 ID，您可以简单地重试失败的行，或者根据需要重试完整的请求（尽管每个重试的行都将计入您的表配额）。重试应遵循指数回退模式。