如何将变量解析为 dbt 中的源引用？

Question

我正在构建一个模型，在该模型中我根据查询结果动态引用表名和模式名。

    {%- set query %}
        select * from master_data.event_metadata where game='{{game_name}}'
    {% endset -%}
    {%- set results = run_query(query) -%}
    {%- if execute %}
        {%- set record = results.rows[0] -%}
    {% else %}
        {%- set record = [] -%}
    {% endif -%}

其中两个值位于record.SCHEMA_NAME 和record.TABLE_NAME 中。我可以使用类似的东西

select
    *
from
    {{record.SCHEMA_NAME}}.{{record.TABLE_NAME}}

但我宁愿使用 source() 函数，这样我的文档和 DAG 就会干净。如何将 record.SCHEMA_NAME 和 record.TABLE_NAME 解析为字符串参数。我需要类似的东西

select
    *
from
    {{ source(record.SCHEMA_NAME, record.TABLE_NAME) }}

当我尝试运行上述程序时，出现以下错误：

Server error: Compilation Error in rpc request (from remote system)
The source name (first) argument to source() must be a string, got <class 'jinja2.runtime.Undefined'>

Answer 1

您可能已经找到了解决方法或解决方案，但以防万一其他人遇到同样的情况......

要将值转换为字符串，您可以使用|string。例如：

record.SCHEMA_NAME|string
record.TABLE_NAME|string

所以你的查询看起来像这样：

select * from {{ source(record.SCHEMA_NAME|string|lower, record.TABLE_NAME|string|lower) }}

请注意，根据查询的输出以及您定义源文件的方式，您可能需要lower 或upper 来匹配您的源值。

问题

您的 record 变量是执行的结果 (run_query(query))。当您执行dbt compile/run 时，dbt 将执行一系列操作，例如读取项目的所有文件，生成“manifest.json”文件，并将使用ref/source 生成 DAG，所以此时, 不执行 SQL，换句话说，execute == False。

在您的示例中，即使您执行record.SCHEMA_NAME|string，您也将无法检索该变量的值，因为没有执行任何操作，并且由于您执行了if not execute then record = [] ，您将收到该消息... depends on a source named '.' which was not found，因为那时点，record 是空的。

解决方法是将模型的查询包装在 if execute 块中，如下所示：

{% if execute %}
select * from {{ source(record.TABLE_SCHEMA|string|lower, record.TABLE_NAME|string|lower) }}
{% endif %}

使用这种方法，您将能够动态设置模型的来源。

但不幸的是，这不会像您预期的那样工作，因为它不会为该模型生成 DAG。使用 if execute 块来包装模型的查询将阻止 dbt 为模型生成 DAG。

最后，这与您第一次尝试在没有 source 函数的情况下声明 schema 和 table 相同。

更多细节可以查看execute mode的dbt文档： https://docs.getdbt.com/reference/dbt-jinja-functions/execute

Answer 2

我认为您需要先将这两个对象转换为它们的字符串表示形式，然后再将它们传递给source 宏。

试试这个

select
    *
from
    {{ source(record.SCHEMA_NAME|string, record.TABLE_NAME||string) }}