如何在没有 ProtoBuf 格式错误的情况下将数据加载到 BigQuery？答案

【问题标题】：How can I load data into BigQuery without ProtoBuf format error?如何在没有 ProtoBuf 格式错误的情况下将数据加载到 BigQuery？
【发布时间】：2016-10-20 21:55:24
【问题描述】：

在 loading data into BigQuery 中，我收到以下错误（复制自 BigQuery Web 控制台中的作业历史记录）。

Errors:
query: Failed to load FileDescriptorProto for '_GEN_DREMEL_ONESTORE_METADATA_SCHEMA_': (error code: invalidQuery)
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation.
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 
 [... repeated a total of exactly 1000 times...]
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 

 (error code: invalidQuery)

数据是数据存储托管备份。（那个团队的人派我去 BigQuery 寻求帮助。）

错误发生在六种随机选择的种类之一；其他加载成功。另外，加载另一个 Kind 会报错“too many fields: 10693 (error code: invalid)”。

失败的 Kind 和成功的 Kind 的数据大小相似，约为 15 GB。

我们可以做些什么来加载这些数据？

【问题讨论】：

感谢您的报告。您有我们可以查看的 job_id 吗？
bquijob_5ae806a6_157d8486814 产生“太多字段：10693（错误代码：无效）”。 bquijob_2129fd00_157a9f47a5d 产生“为协议缓冲区库保留”消息。如果您想了解更多信息，请离线给我发消息（以便我们保密）。

标签： google-bigquery google-cloud-datastore

【解决方案1】：

这是由 BigQuery 的 limitation 引起的：每个表最多 10000 列。因此，用于加载数据存储备份的实用程序在这种情况下根本不起作用。

【讨论】：