用于审计数据的 Big Query 与 Cloud SQL答案

【问题标题】：Big Query vs Cloud SQL for audit data用于审计数据的 Big Query 与 Cloud SQL
【发布时间】：2021-10-07 16:46:34
【问题描述】：

哪个数据库更适合交易数据 - 云 SQL 或 Google Big query？

我有一个要求，我需要从多个作业中将数据加载到一个表中。哪个数据库更适合 Google Big 查询或 Cloud SQL？

我知道在成本效益方面云 sql 是一个更好的选择。但是除此之外还有其他的指针吗？

【问题讨论】：

您的问题缺乏细节。两种服务都将数据存储在表中。关键是数据结构、频率、数据量、需要执行什么类型的查询、需要什么响应时间。等等。一般来说，BigQuery 用于 数据湖 类型的存储，其中数据量很大并且不会经常/持续更改 (OLAP)。 Cloud SQL 是您的经典 SQL 数据库，其中需要快速插入和查询关系数据 (OLTP)。您的陈述多个作业将数据加载到单个表中指出 Cloud SQL 是最佳选择。

【解决方案1】：

CloudSQL 是用于事务负载 (OLTP) 的托管数据库。可以对其进行调整以使用 OLAP（分析）；但它旨在成为一个事务性数据库。

BigQuery 用于分析数据 (OLAP)，即不会更改的数据。将其视为不会更改的“静止”数据。

如果您的某些事务未完成（有正在进行的事务，或者您的端到端流程需要一些步骤），您需要一个事务数据库 - 就像来自 Cloud SQL 的那些。

如果您的数据不会改变，请使用 BigQuery。

【讨论】：