BigQuery Streaming API 经常引发 503 错误

Question

由于以下错误，将数据流式传输到 BigQuery 不断失败，最近发生的频率更高：

com.google.api.client.googleapis.json.GoogleJsonResponseException: 503 Service Unavailable
{
  "code" : 503,
  "errors" : [ {
    "domain" : "global",
    "message" : "Connection error. Please try again.",
    "reason" : "backendError"
  } ],
  "message" : "Connection error. Please try again."
}
        at com.google.api.client.googleapis.json.GoogleJsonResponseException.from(GoogleJsonResponseException.java:145)
        at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:113)
        at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:40)
        at com.google.api.client.googleapis.services.AbstractGoogleClientRequest$1.interceptResponse(AbstractGoogleClientRequest.java:312)
        at com.google.api.client.http.HttpRequest.execute(HttpRequest.java:1049)
        at com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:410)
        at com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:343)

相关问题参考：

• Getting high rate of 503 errors with BigQuery Streaming API
• BigQuery - BackEnd error when loading from JAVA API

Answer 1

我们（BigQuery 团队）正在调查您关于连接错误增加的报告。从内部监测来看，最近几天没有出现全球性的连接错误高峰。但是，这并不意味着您的表格没有受到影响。

连接错误可能很难追踪，因为它们可能是在到达 BigQuery 服务器之前或离开之后由错误引起的。您提供的信息越多，我们就越容易诊断问题。

流式输入的最佳做法是处理此类临时错误以重试请求。这可能有点棘手，因为当您收到连接错误时，您实际上并不知道插入是否成功。如果您在数据中包含唯一的insertId（请参阅文档here），您可以安全地重新发送请求（在重复数据删除窗口期内，我认为是 15 分钟），而不必担心同一行会被添加多个次。