使用 Python，将 google.cloud.bigquery.job.query.QueryJob 输出保存到本地 JSON 文件

Question

我们正在使用 google bigquery 客户端库在 python 中从 BigQuery 导出到本地 JSON 文件：

from google.cloud import bigquery
import json

bq = bigquery.Client()
full_query = """
    SELECT TO_JSON_STRING(t)
    FROM (select * from bigquery-public-data.baseball.schedules) AS t
"""
query_rowiterator = bq.query(full_query).result() # rowIterator

在TO_JSON_STRING 中包装我们的查询会将输出转换为 JSON并维护类型 (BigQuery downloading or exporting as JSON does not respect types)，这对于我们的表提取很重要。

如何尽快将queryjob_output 的输出转储到本地 JSON 文件中？

Answer 1

我们需要做的就是从索引 [0] 处的行中获取 JSON：

with open(f'tmp/test_output.json', 'w') as f:
    for row in query_rowiterator:
        f.write(row[0] + '\n')