【问题标题】:How to stream spanner table data to Bigquery如何将扳手表数据流式传输到 Bigquery
【发布时间】:2020-01-27 22:25:09
【问题描述】:

有没有一种方法可以将 Spanner 表数据流式传输到 BQ?我们有定期截断和加载 BQ 表的数据流作业。但我们希望 BQ 获得接近真实的数据,因此在 BQ 中寻找接近实时的 Spanner 备份解决方案。

【问题讨论】:

    标签: google-bigquery google-cloud-spanner


    【解决方案1】:

    我发现这个Feature Request 与您的问题有关。您可以为它加注星标并发表评论,以便从负责团队那里获得进一步的更新。

    此外,作为一种解决方法,您可以导出数据from Spanner to GCS,然后导出upload it into BigQuery。

    【讨论】:

    • 我确实为故事加注了星标,但故事似乎从 Spanner 上传到 GCS,然后导入到 BQ。这将是一种批处理作业,但我们的用例是让扳手数据在 BQ 中的可用时间少于 20 秒。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-09-03
    • 2021-06-28
    • 2018-10-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多