【问题标题】:export BigQuery output to Google CloudStore将 BigQuery 输出导出到 Google CloudStore
【发布时间】:2022-01-23 17:10:13
【问题描述】:

我们的组织在 Google Bigtable 中有数据 - 由我们的供应商托管。我们希望在 BigQuery 中运行作业以从 Bigtable 进行查询并将数据作为 .csv 文件导出到 CloudStore,而无需将数据作为数据集存储在 BigQuery 中。

我们不想存储在 BigQuery 数据集中,因为我们没有使用 BigQuery 进行任何分析,因为所有分析都是使用本地分析解决方案完成的。

这可能吗?

【问题讨论】:

    标签: google-bigquery google-cloud-storage google-cloud-bigtable


    【解决方案1】:

    您有几个选择,最好的解决方案是使用 Cloud Workflows 实现自动化。

    我看到的步骤是:

    1. 以 Avro 或 Parquet 格式从 BigTable 导出到 Cloud Storage。
      有一个gcloud 和 API 方法可以做到这一点,描述了here

    2. 然后您将导出的文件导入 BigQuery。
      有一种方法可以使用bq CLI 工具和 API 方法来执行此操作,描述了here

    3. 然后您从 BigQuery 导出到多个 CSV 文件,因为它记录在 here

    您会获得多个 CSV 文件,然后您可以运行 gcloud compose 工具来合并它们。

    以上所有都可以在 Cloud Workflows 中完成。每个调用都可以通过 API(首选)或使用 Cloud Build 触发器等命令行选项来实现。对于 Workflow 语法,您可以在本文中 get guidance,以及文章页脚部分的链接内容。

    【讨论】:

      猜你喜欢
      • 2023-03-26
      • 1970-01-01
      • 2016-07-27
      • 1970-01-01
      • 1970-01-01
      • 2017-11-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多