使用存储过程的 GCS 到 BigQuery 表

Question

我想创建一个存储的 Proc，它可以从 GCS 存储桶中读取数据并存储到 bigquery 中的表中。我能够使用 python bu 连接到 gcs 并创建 bigquery 客户端来做到这一点。

credentials = service_account.Credentials.from_service_account_file(path_to_key)
bq_client = bigquery.Client(credentials=credentials, project=project_id)

我们可以使用存储过程实现同样的效果吗？

Answer 1

您是否考虑过使用external table？您可以直接从 Google Cloud Storage 查询，而无需加载任何内容。只需定义预期数据的架构以及 GCS URI，一旦数据在 GCS 中，就可以通过 BigQuery 中的 SQL 访问它。否则，没有。没有可以通过 BigQuery SQL 执行的 LOAD 语句。有关将数据加载到表中的所有方法，请参阅文档 here。您可以拥有外部表，并可能创建一个存储过程，使用您创建的外部表中的数据将INSERT 放入另一个表中。也就是说，如果您真的一心想要使用存储过程将数据“加载”到普通的 BigQuery 表中。否则，外部表是避免首先加载数据的绝佳选择。