如何使 BigQuery 架构与代码保持同步

Question

我正在开发各种直接与 BigQuery 对话的服务，方法是将行流式传输到数据库中。现在我正在直接从 Google 云用户界面更新架构，这会导致您可以想象由于健忘而出现的问题！

我想了解如何最好地保持代码和模式与仍在快速发展的服务和模式保持一致。

我目前的想法是：

• 使用 Terraform 之类的东西，但我不确定它如何在需要更新或迁移的实时表上工作
• 向服务中添加代码以检查/设置架构，如果不使流程自动化，这至少会引发错误

提前致谢！

---

编辑：

根据 cmets 的要求给出更清晰的说明；我们正在使用云运行的微服务将行流式传输到 bigquery，这些服务是用 python/node 编写的。他们的主要目标是对数据进行一些轻度转换并存储在 BQ 中。

不太确定还要添加什么，我的理想情况是我们在代码中有一些东西也定义或至少检查架构，以保持代码和数据库同步。

Answer 1

与任何数据库一样，您必须遵循一些规则或最佳实践来避免一些错误和冲突。例如，您必须避免手动更新架构，您可以选择始终使用代码进行更新（这更好，因为您可以根据您的 git 历史记录来跟踪架构更改）。

然后您可以有一个辅助进程来检查架构并使用较新的更改对其进行更新。或者在启动时执行此操作（仅当您不在无服务器中并且应用启动持续时间不是您关心的问题时）。

Terraform 非常适合部署基础架构，但更仅限于更新/修补现有组件。不推荐。