【问题标题】:export BigQuery output to Google CloudStore将 BigQuery 输出导出到 Google CloudStore
【发布时间】:2022-01-23 17:10:13
【问题描述】:
我们的组织在 Google Bigtable 中有数据 - 由我们的供应商托管。我们希望在 BigQuery 中运行作业以从 Bigtable 进行查询并将数据作为 .csv 文件导出到 CloudStore,而无需将数据作为数据集存储在 BigQuery 中。
我们不想存储在 BigQuery 数据集中,因为我们没有使用 BigQuery 进行任何分析,因为所有分析都是使用本地分析解决方案完成的。
这可能吗?
【问题讨论】:
标签:
google-bigquery
google-cloud-storage
google-cloud-bigtable
【解决方案1】:
您有几个选择,最好的解决方案是使用 Cloud Workflows 实现自动化。
我看到的步骤是:
-
以 Avro 或 Parquet 格式从 BigTable 导出到 Cloud Storage。
有一个gcloud 和 API 方法可以做到这一点,描述了here。
-
然后您将导出的文件导入 BigQuery。
有一种方法可以使用bq CLI 工具和 API 方法来执行此操作,描述了here。
-
然后您从 BigQuery 导出到多个 CSV 文件,因为它记录在 here。
您会获得多个 CSV 文件,然后您可以运行 gcloud compose 工具来合并它们。
以上所有都可以在 Cloud Workflows 中完成。每个调用都可以通过 API(首选)或使用 Cloud Build 触发器等命令行选项来实现。对于 Workflow 语法,您可以在本文中 get guidance,以及文章页脚部分的链接内容。