如何从 Big Query EXTERNAL_QUERY 配置 DBT 源

Question

在 Big Query 中，我使用了一个外部连接/联合 SQL 查询 (cloudSQL)，我可以使用 SELECT * FROM EXTERNAL_QUERY("gcp-name.europe-west3.friendly_name", "SELECT * FROM database_name.external_table;") 从中获取数据

现在我的问题是，在 DBT 中，如何在我的 schema.yml 文件中定义这个源以及我的 FROM {{source(...,...)}} 语句应该是什么样子？

Answer 1

从我现在的角度来看，鉴于我以上关于 dbt-external-tables 包的当前状态的 cmets（我认为它不能满足您的需求），我会说您有两个选择：

1. 将您的外部依赖项定义为自定义架构中的静态视图，然后作为 dbt 源导入。

2. 使用Evaluate(<select *>) 和ref() 之类的东西在 dbt 中定义您的外部依赖项，然后在您的变换/舞台层中使用类似的东西。

---

#1 示例

* my-bq-project-id
  |
  |_ dbt_schema
  | 
  |_ external_db_schema
    |
    |_ external_table_1
    |_ external_table_2

等等。 然后你会有：

* my-dbt-project-dir
  |
  |_ analysis
  |_ data
  |_ models
  |  |_ sources
  |  | |
  |  | |> my_external_table_1.yml
  |  | |> my_external_table_2.yml
  |  |
  |  |_ transforms
  |  |_ final
  |_ dbt_project.yml
  |_ readme.md

“my_external_table_1.yml”的样子：

sources:
  - name: external_db_schema
    database: my-bq-project-id
  
    tables:
      - name: my_external_table_1
        description: "Lorem Ipsum"

您的静态视图是通过运行如下查询来定义的：

create view if not exists `my-bq-project-id.external_db_schema.my_external_table_1` as 
( SELECT * FROM EXTERNAL_QUERY("gcp-name.europe-west3.friendly_name",
  "SELECT * FROM database_name.external_table;"))

---

#2 示例

只需制作一个基本级别的 dbt 模型，该模型完全符合您在 1-1 对象映射中所描述的内容：

my_external_table_1.sql

execute immediate (
  SELECT * FROM EXTERNAL_QUERY("gcp-name.europe-west3.friendly_name",
  "SELECT * FROM database_name.external_table;")
)

然后从这里你将能够在你的变换层等中ref('my_external_table_1')。