在多个连接条件下将数据从第二个表插入一个表

Question

我正在尝试使用连接键字段将数据从第二个表 (src_tbl) 插入到一个表 (trgt_tbl) 中。查询似乎工作正常，但速度极慢。 trgt_tbl 中有大约 1600 万条记录，来自 src_tbl 的每日增量负载预计将有大约 50 万条记录。我正在尝试弄清楚我是否可以以更好的方式做到这一点。

注意：合并不是一个选项，因为数据是插入到 Redshift 中的，而 Redshift 不支持合并。

INSERT INTO trgt_tbl (col1,
    col2,
    col3,
    col4,
    col5,
    col6)
SELECT col1,
    col2,
    col3,
    col4,
    col5,
    col6 
FROM  src_tbl s  
WHERE NOT EXISTS (
    SELECT 1 
    FROM trgt_tbl t 
    WHERE 
        t.col1 = s.col1 
        OR t.col2 = s.col2 
        OR t.col3 = s.col3
        OR t.col4 = s.col4 
)

Answer 1

正如Database Developer Guide 中提到的那样，由于缺少对merge / upsert 的支持，您应该在临时表的帮助下使用更新和插入的组合来有效地执行合并。例如。您可以执行以下操作：

使用来自src_tbl 的数据创建一个临时表：

create temp table staging (like target); 
insert into staging select s.col1, s.col2, s.col3, s.col4, s.col5, s.col6 from src_tbl s JOIN trgt_tbl t ON 
    t.col1 = s.col1 
    OR t.col2 = s.col2 
    OR t.col3 = s.col3
    OR t.col4 = s.col4;

内连接暂存表以从trgt_tbl 中删除正在更新的行并插入暂存表中的行：

begin transaction;

delete from trgt_tbl using staging where t.col1 = s.col1 OR t.col2 = stage.col2 OR t.col3 = stage.col3 OR t.col4 = stage.col4; 
insert into trgt_tbl select * from staging;

end transaction;