dbt中特定列数据的增量更新

Question

假设一个有 20 列的表，我当前的模型已经将所有记录插入到表中。不过，我想将增量更新集中在几个专栏上。

例如，给定下表模型。当新值可用时，我想只用新值增量更新列 C，而不是删除并重新插入整行，这在索引/性能方面成本更高。

现有：

id	B	C
n1	X	1
n2	Y	2
n3	Z	3

新：

id	B	C
n1	X	1.2
n2	Y	2.1
n3	Z	3.5

Answer 1

似乎这个功能将被添加到下一个版本的 dbt (v0.20.0)。但总而言之，模型的配置块中将提供一个用于指定列的新选项 (merge_update_columns)。

{{
  config(
    materialized = 'incremental',
    unique_key = 'id',
    merge_update_columns = ['c'],
    ...
  )
}}

select ...

查看文档了解更多详情： https://next.docs.getdbt.com/docs/building-a-dbt-project/building-models/configuring-incremental-models#strategy-specific-configs