在 dbt 中使用多个数据仓库

Question

我正在构建一个应用程序，我们的每个客户都需要自己的数据仓库（出于安全性、合规性和可维护性原因）。对于每个客户，我们从多个第三方集成中提取数据，然后将它们合并到一个统一的视图中，我们使用该视图对这些集成中的数据执行分析和报告指标。这些转换和所有相关模式对于所有客户端都是相同的。我们需要它来扩展到 1000 个客户。

据我所知，dbt 的设计使每个项目对应一个仓库。我看到两个选项：

1. 使用一个项目并为每个客户端创建一个单独的环境目标（可能还有一个开发环境）。鉴于环境不是为此而设计的，这有什么问题吗？由于某种原因，安排、编排或查询输出会很痛苦或无法扩展吗？

   配置文件.yml：

   example_project:
     target: dev
     outputs:
       dev:
         type: redshift
         ...
       client_1:
         type: redshift
         ...
       client_2:
         type: redshift
         ...
       ...
   

   2. 创建多个项目，并创建一个包含大部分逻辑的共享 dbt 包。这似乎非常笨重，需要为每个客户维护一个单独的回购协议，而且对开发人员的友好性较低。

   配置文件.yml：

   client_1_project:
     target: dev
     outputs:
       client_1:
         type: redshift
         ...
   client_2_project:
     target: dev
     outputs:
       client_2:
         type: redshift
         ...
   
   

   想法？

Answer 1

我想你抓住了这两个选项。

如果您只有一个数据库连接，并且您的客户端数据在该连接中逻辑上是分开的，那么我肯定会选择#2（一个包，许多客户端项目）而不是#1。一些原因：

1. 根据目标从不同来源（在单个连接内）选择数据有点hacky，并且无法很好地扩展到 1000 个客户端。
2. 包的开发人员体验还不错。您将需要一个开发人员数据源，但根据您的业务，您可能会使用一个客户的数据（或该数据的匿名版本）。保持此开发人员环境在逻辑上与任何单个客户端的实现分开是很好的，而包允许您这样做。
3. 我会考虑以编程方式生成客户端项目，可能使用 Python CLI 来设置，dbt run，并拆除每个客户端项目所需的文件（我假设您不打算使用 dbt Cloud 和有另一个你控制的编排器或计算环境）。使用 pyyaml 从 Python 编写 YAML 很容易（每个文件只是一个字典），您的个人项目可能只需要单独的 profiles.yml、sources.yml 和（可能）dbt_project.yml 文件。我不会将这些为每个客户端生成的文件检查到源代码管理中——只需检查脚本并在每次调用 dbt 时生成您需要的文件。

   另一方面，如果您的每个客户都有自己的物理数据库，具有单独的连接和凭据，并且这些数据库完全相同，那么您可以摆脱#1（一个项目，许多配置文件）。该方法的“最难”部分可能是管理秘密和生成/维护您可以迭代的目标列表（最好以并行方式）。