将 BigQuery 结果导出为 Avro 或 JSON

Question

如果有办法将 BigQuery 结果保存为 JSON 或 Avro 格式，请告诉我。

我正在使用以下代码在 BigQuery Table 上运行查询。

client = bigquery.Client.from_service_account_json('/Users/gaurang.shah/Downloads/fb3735b731b9.json')

job_config = bigquery.QueryJobConfig()
job_config.priority = bigquery.QueryPriority.BATCH
sql = """
   select * 
    FROM `bigquery-public-data.samples.shakespeare`
    limit 1;
"""
location = 'US'
query_job = client.query(sql, location=location, job_config=job_config)
query_job = client.get_job(query_job.job_id, location=location)  
print(query_job.result())

我正在尝试在不使用 GCS 的情况下导出 BigQuery 表。这是我认为可以实现这一目标的一种方式。

我认为另一种方法是使用BQ command line 工具。但是不确定它是否对我可以触发多少个查询以及我可以检索多少数据有任何限制。

Answer 1

您需要先运行查询，将结果写入表中，然后挂钩到 BigQuery export/extract API，其中可以将结果/表以您想要的格式导出到 GCS。例如，这里是 CSV：

# from google.cloud import bigquery
# client = bigquery.Client()
# bucket_name = 'my-bucket'
project = 'bigquery-public-data'
dataset_id = 'samples'
table_id = 'shakespeare'

destination_uri = 'gs://{}/{}'.format(bucket_name, 'shakespeare.csv')
dataset_ref = client.dataset(dataset_id, project=project)
table_ref = dataset_ref.table(table_id)

extract_job = client.extract_table(
    table_ref,
    destination_uri,
    # Location must match that of the source table.
    location='US')  # API request
extract_job.result()  # Waits for job to complete.

print('Exported {}:{}.{} to {}'.format(
    project, dataset_id, table_id, destination_uri))

查看更多here。