Google App Engine 将数据流式传输到 Bigquery：GCP 架构答案

【问题标题】：Google App Engine streaming data into Bigquery: GCP architectureGoogle App Engine 将数据流式传输到 Bigquery：GCP 架构
【发布时间】：2021-11-21 03:00:53
【问题描述】：

我正在使用部署在 Google App Engine 柔性环境中的 Django 网络应用。我在使用 bigquery.Client() 处理视图中的请求时正在流式传输我的数据。但我认为这不是最好的方法。我是否需要将此过程委派到视图之外（使用发布/订阅、任务、云功能等？如果需要，请给我一个合适的架构：我应该使用哪个 GCP 产品、如何连接以及阅读什么内容。

【问题讨论】：

你的数据源是什么？一份文件？发布订阅？音量是多少？频率？延迟（事件生成和 BigQuery 集成之间）？？
你的数据源是什么？数据基于请求（来自 POST 请求的 JSON 数据）。音量是多少？从 1 到 5000 行 x 20 列（价目表）。如果有 5k 行，响应前大约需要 1-3 秒，但我想尽快发送响应（不等待 Bigquery 流）。我不太了解 GCP 产品，所以我可能会误解一些东西。

标签： google-app-engine google-cloud-platform google-bigquery

【解决方案1】：

根据您的评论，我可以向您推荐 Cloud Run；

Cloud Run 是基于无服务器容器的产品。您编写一个网络服务器（处理您的 POST 请求），将其包装在一个容器中并将其部署在 Cloud Run 上。

使用名为always on 的全新功能，在发送响应后CPU 不会受到限制（正常行为）。始终开启时，您可以在卸载 Cloud Run 实例时保持完整的 CPU（通常在 15 分钟后，但可以更快）。

该功能的好处是能够立即将响应返回给客户端，然后继续异步处理您的数据以存储在 BigQuery 中（以流模式）。

【讨论】：