使用 JSON 参数的 Postgres 批量 INSERT 函数

Question

这是一个用于 postgres 9.6 的 plpgsql 函数。它尝试INSERT 一行，如果插入没有失败（由于违反键约束），那么它会运行更多命令。

CREATE FUNCTION foo(int, text, text)
  RETURNS void AS
$$
BEGIN
  INSERT INTO table1 (id, val1, val2) VALUES ($1, $2, $3) ON CONFLICT DO NOTHING;
  IF FOUND THEN
    INSERT INTO table2 (table1_id, val1) VALUES ($1, $2);
    UPDATE table3 SET (val2, time) = ($3, now()) WHERE table1_id = $1;
  END IF;
END
$$

这个函数只处理一条记录，但是如何修改它来处理成批的数千条记录呢？

我找到了answer，它建议将 3 个函数参数中的每一个都设为一个数组。但是有没有一种方法可以让我传递更接近地表示记录在我的应用程序中的外观的参数？

例如，理想的解决方案是我的应用程序代码调用select foo($1)，其中参数$1 是一个JSON 对象数组，其中每个内部对象都是要插入的记录。

[ 
  { "id": "1", "val1": "1-val1", "val2": "1-val2" },
  { "id": "2", "val1": "2-val1", "val2": "2-val2" },
  { "id": "3", "val1": "3-val1", "val2": "3-val2" },
  { "id": "4", "val1": "4-val1", "val2": "4-val2" }
]

第二好的选择是我的应用程序代码调用 select foo($1, $2, $3, $4)，其中每个参数都是一个 JSON 对象，对应于要插入的记录。

{ "id": "1", "val1": "1-val1", "val2": "1-val2" }  // This would be $1
{ "id": "2", "val1": "2-val1", "val2": "2-val2" }  // This would be $2

我正在查看 Postgres here 提供的各种 JSON 函数，它们似乎与此相关，但我不知道究竟要使用哪个。我想要做的甚至可能吗？是否可以在任何地方使用 JSON 数组 而不是 JSON 对象 来实现这一点？

Answer 1

数以千计的记录

1. 创建一个包含输入行的临时表，其中包含您的值$1、$2、$3。最快的上传方式是COPY - 如果数据不在同一台机器上，则使用\copy meta-command of psql。假设这张表：

CREATE TEMP TABLE tmp(id int PRIMARY KEY, val1 text, val2 text);

我添加了一个 PK 约束，这是完全可选的，但它确保我们正在处理唯一的非空 int 值。如果您可以保证输入数据，则不需要约束。

2. 将您的命令与数据修改 CTE 链接起来。正如我们在您的previous question 中确定的那样，在此特定操作中没有需要处理的竞争条件。

WITH ins1 AS (
   INSERT INTO table1 AS t1 (id, val1, val2)
   SELECT id, val1, val2 FROM tmp ON CONFLICT DO NOTHING
   RETURNING t1.id, t1.val1, t1.val2  -- only actually inserted rows returned
   )
, ins2 AS (
   INSERT INTO table2 (table1_id, val1)
   SELECT id, val1 FROM ins1
   )
UPDATE table3 t3
SET    val2 = i.val2
     , time = now()
FROM   ins1 i
WHERE  t3.table1_id = i.id;

第 1 步和第 2 步必须运行在同一个会话（不一定是同一个事务），因为临时表的范围绑定到同一个会话.

注意，UPDATE只依赖第一个INSERT，保证第二个INSERT的成功，因为没有ON CONFLICT DO NOTHING，如果有任何冲突，整个操作将被回滚第二个INSERT。

相关：

• COPY command: copy only specific columns from csv

只记录几条

有多种选择。您将 JSON 数组传递给函数的想法就是其中之一。如果对象与目标表匹配，您可以在单个 INSERT 查询中使用 json_populate_recordset()。或者只使用没有函数包装器的INSERT（作为准备好的语句）。

INSERT INTO target_tbl  -- it's ok to omit target columns here
SELECT *
FROM   json_populate_recordset(null::target_tbl,  -- use same table type
          json '[{ "id": "1", "val1": "1-val1", "val2": "1-val2" },
                 { "id": "2", "val1": "2-val1", "val2": "2-val2" },
                 { "id": "3", "val1": "3-val1", "val2": "3-val2" },
                 { "id": "4", "val1": "4-val1", "val2": "4-val2" }]');

---

对于少数几列，您还可以为每列传递一个数组并并行循环它们。您可以通过数组索引上的简单循环来做到这一点。从 Postgres 9.4 开始，还有方便的 unnest() 带有多个参数，可以在单个查询中完成所有操作：

• Unnest multiple arrays in parallel

最佳解决方案取决于您拥有的数据格式。