【发布时间】：2020-11-11 13:26:30
【问题描述】：
我正在从事一个处理数据并进行大量处理的项目。所以我选择使用 BigQuery，因为它对运行分析查询有很好的支持。但是，计算的最终结果存储在一个表中，该表必须为我的网页提供动力（用作事务/OLTP）。我的理解是，BigQuery 不适合事务性查询。我正在研究其他替代方案，我意识到我可以使用 DataFlow 进行分析处理并将数据移动到 Cloud SQL（relationalDb 符合我的目的）。
但是，它似乎并不像看起来那么简单。首先，我必须创建一个管道将数据移动到 GCP 存储桶，然后将其移动到 Cloud SQL。
有没有更好的方法来管理它？我可以在数据流中使用“从 SQL 创建作业”来执行此操作吗？我还没有找到任何使用“从 SQL 创建作业”来处理数据并将数据移动到 GCP Cloud SQL 的示例。
考虑一个关于 Robinhood 的简单示例： 通过查看用户的投资组合来计算用户的回报，并显示每个月的回报图表。
【问题讨论】：
-
gcp 有这方面的 API，如果您使用 python 工作，您可以轻松地将数据移动到 BigQuery。
-
我想将数据从 BigQuery 移动到 CloudSQL。看来我必须构建的管道将始终通过 GCP 存储桶创建一个临时文件，然后再将其移动到 cloudSQL。
-
@LifeStartsAtHelloWorld 您能否解释一下您是如何将数据从 BigQuery 移动到 Cloud SQL 的？
标签： google-cloud-platform google-bigquery google-cloud-sql