表错误上的可序列化隔离违规答案

【问题标题】：Serializable isolation violation on table error表错误上的可序列化隔离违规
【发布时间】：2021-08-22 05:55:56
【问题描述】：

我是 redshift 的新手，面临“D”：“表错误的可序列化隔离违规。这发生在数据存档处理时间范围内（午夜加载），并影响同一张表的常规批处理作业数据加载。

我已经在归档加载过程下面写了。在我的下面的脚本中是否有避免此类错误的最佳方法？

你能帮忙吗？提前致谢。

INSERT INTO abc.data_arch
    (  col1,col2......
)

With cte_365days_older
AS
(
    Select * from  abc.abc_data_365 
    WHERE abc_ts < dateadd(day, -365, current_date)
    --LIMIT 1
)
SELECT
    col1,col2...... 
FROM cte_365days_older src 
WHERE not exists (select 1 from abc.data_arch trgt
                    where src.abc_hkey = trgt.abc_hkey                          
                 )
order by col1,col2
  ;
 DELETE 
    from  abc.abc_data_365 
    WHERE abc_ts < dateadd(day, -365, current_date);
    COMMIT;
    VACUUM DELETE ONLY abc.abc_data_365;
    COMMIT;

错误：-

'D': 'Serializable isolation violation on table - 342561, transactions forming the cycle are: 2234341, 2034548 (pid:3235)'

【问题讨论】：

常规批处理作业数据加载是否可能与此脚本同时运行？
常规批处理作业数据与INSERT语句同时运行。

标签： amazon-web-services amazon-redshift

【解决方案1】：

好的，在同时运行常规批处理作业数据的情况下，看起来冲突是在执行 INSERT 的事务和在另一个会话中并行运行的 VACUUM 命令之间（根据 Max 的回答）。

关于数据架构，DELETE 是一个相对昂贵的操作，因此为避免错误，您可以考虑另一种方法：

在您的abc_data_365 表上创建一个视图，该表只包含最最近 365 天的数据。
不那么频繁地运行 DELETE（可能每月一次），并在当天的 INSERT 完成后立即执行

然后让您的最终用户从 VIEW 中选择，而不是从基表中选择。

最终用户可能会发现几乎没有性能下降（如果您每月运行一次，那么最坏的情况是 SELECT 会额外扫描 1/12 的表）
您要求 Redshift 执行昂贵的 DELETE 的频率要低得多

类似这样的：

CREATE VIEW v_abc_data_365 AS
SELECT * FROM abc_data_365
WHERE abc_ts > DATEADD(DAY, -365, current_date);

【讨论】：