如果值不存在，则插入新行并以任一方式获取 id

Question

我想向表中插入一条记录，如果该记录已经存在，则获取其 id，否则运行插入并获取新记录的 id。

我将插入数百万条记录，但不知道如何以有效的方式执行此操作。我现在正在做的是运行一个选择来检查记录是否已经存在，如果没有，插入它并获取插入记录的 id。随着桌子越来越大，我想SELECT 会杀了我。

我现在用 psycopg2 在 python 中做的事情看起来像这样：

select = ("SELECT id FROM ... WHERE ...", [...])
cur.execute(*select)
if not cur.rowcount:
    insert = ("INSERT INTO ... VALUES ... RETURNING id", [...])
    cur.execute(*insert)
rid = cur.fetchone()[0]

是否有可能在这样的存储过程中做一些事情：

BEGIN
    EXECUTE sql_insert;
    RETURN id;
    EXCEPTION WHEN unique_violation THEN
        -- return id of already existing record
        -- from the exception info ?
END;

对如何优化这样的案例有任何想法吗？

Answer 1

首先，这显然不是UPSERT，因为UPDATE 从未被提及。不过，类似的并发问题也适用。

这种任务总会有竞争条件，但您可以将其最小化到一个极小的时间段，同时仅一次使用数据查询 ID-修改 CTE（PostgreSQL 9.1 引入）：

给定一张桌子tbl：

CREATE TABLE tbl(tbl_id serial PRIMARY KEY, some_col text UNIQUE);

使用这个查询：

WITH x AS (SELECT 'baz'::text AS some_col) -- enter value(s) once

   , y AS (
   SELECT x.some_col
        , (SELECT t.tbl_id FROM tbl t WHERE t.some_col = x.some_col) AS tbl_id
   FROM   x    
   )

   , z AS (
   INSERT INTO tbl(some_col)
   SELECT y.some_col
   FROM   y
   WHERE  y.tbl_id IS NULL
   RETURNING tbl_id
)

SELECT COALESCE(
         (SELECT tbl_id FROM z)
        ,(SELECT tbl_id FROM y)
       );

• CTE x 只是为了方便：输入一次值。
• CTE y 检索 tbl_id - 如果它已经存在。
• CTE z 插入新行 - 如果没有。
• 最终的SELECT 避免了在具有COALESCE 构造的表上运行另一个查询。

现在，如果并发事务在 CTE y 和 z 之间提交了 some_col = 'foo' 的新行，这仍然会失败，但这极不可能。如果发生这种情况，您会遇到重复的密钥违规，并且必须重试。什么都没有丢失。如果你不面对并发写入，你可以忘记这一点。

您可以将其放入 plpgsql 函数中并自动重新运行重复键错误的查询。

不用说，在此设置中您需要两个索引（如上面我的 CREATE TABLE 语句中所示）：

• tbl_id 上的 UNIQUE 或 PRIMARY KEY 约束（属于 serial 类型！）
• some_col 上的另一个 UNIQUE 或 PRIMARY KEY 约束

两者都自动实现索引。