数据框中的 BigQuery 表

【问题标题】：BigQuery table from dataframe数据框中的 BigQuery 表
【发布时间】：2017-08-01 04:32:03
【问题描述】：

我想使用 Google Datalab 笔记本为基因组数据创建一个 bigQuery 表并达到列数限制。该表是从 pandas DataFrame 创建的。

# to communicate with Google BigQuery
from pandas.io import gbq
gbq.to_gbq(df_pgp_input, 'pgp_orielresearch.pgp_PIK3CA_all_ml', 'speedy-emissary-167213', chunksize=10000, verbose=True)

GenericGBQException：原因：无效，消息：字段太多：12427

【问题讨论】：

标签： google-bigquery google-cloud-datalab

【解决方案1】：

如docs 中所述，Bigquery 中总列的最大限制为 10000。

这就是为什么在大多数情况下使用ARRAYs and STRUCTs 排列数据会更好，因为您不会达到这些配额限制。

【讨论】：

唉，添加 STRUCT 将无济于事，因为叶字段的总数限制为 10000，无论结构如何。
嗨@MoshaPasumansky，我想知道OP是否为每列创建一个带有STRUCTS的ARRAY，并通过某个键进行聚合，如果它可以正常工作。对于我在这里测试的内容，我可以很容易地创建具有 100k STRUCT 的 ARRAY（而不是在结构内创建 10k 键，而是为每列、每行创建一个具有结构的数组）。