如何在 Python 中设置架构以在 BigQuery 上使用 json 文件？

【问题标题】：How to set schema in Python to use a json file on BigQuery?如何在 Python 中设置架构以在 BigQuery 上使用 json 文件？
【发布时间】：2020-08-08 04:42:07
【问题描述】：

我正在寻找一种在 Big Query 上使用 Python 中的 json 文件设置架构的方法。下面的文档说我可以用Schema字段一一设置，但我想找出更有效的方法。 https://cloud.google.com/bigquery/docs/schemas

Autodetect 在这种情况下会怀疑它。如果您能帮助我，我将不胜感激。

【问题讨论】：

您的意思是您提供了一个描述您的架构的 JSON 吗？并且您想在 BigQuery 的字段定义中匹配此定义？
是的，我愿意。有什么办法可以让你说的是真的吗？

标签： python google-bigquery schema

【解决方案1】：

您可以创建包含列/数据类型的 JSON 文件，并使用以下代码构建 BigQuery 架构。

JSON 文件（schema.json）：

[
    {
        "name": "emp_id",
        "type": "INTEGER"
    },
    {
        "name": "emp_name",
        "type": "STRING"
    }
]

Python 代码：

import json
from google.cloud import bigquery

bigquerySchema = []
with open('schema.json') as f:
    bigqueryColumns = json.load(f)
    for col in bigqueryColumns:
        bigquerySchema.append(bigquery.SchemaField(col['name'], col['type']))

print(bigquerySchema)

【讨论】：

感谢您的帮助。我试试看。