使用 Firestore 在 Big Query 中存储关键值

【问题标题】：Use Firestore to store critical values in Big Query使用 Firestore 在 Big Query 中存储关键值
【发布时间】：2021-09-10 15:35:24
【问题描述】：

我需要 Big Query 来高效分析 TB 大型数据集。

每隔几秒钟，我需要检查大查询表中某个列的最大值和最小值。即使使用适当的集群，这也变得相当昂贵。

将这些值存储在单独的 Firestore 数据库中是否有意义？有什么想法吗？谢谢

【问题讨论】：

【解决方案1】：

大概您知道上次检查时的最小值和最大值，因此您应该只需要检查自上次检查后到达的新数据中的最小值和最大值。您不需要每次都查询整个表。

【讨论】：

是的，但是，即使我只检查表中的一小部分数据（使用正确的分区），如果我每隔几秒钟检查一次这些值也会变得过于昂贵。你认为我应该将这些关键值存储在不同类型的数据库中吗，比如 firestore？