SQL 性能：将一张表插入两张

Question

在我的职业生涯中，我遇到过许多必须将平面、非规范化数据插入规范化结构的实例。

为此，我经常使用 CTE 插件。例如

CREATE TABLE raw_data (
    foo varchar,
    bar_1 varchar,
    bar_2 varchar
);

INSERT INTO raw_data VALUES ('A', 'A1', 'A2');
INSERT INTO raw_data VALUES ('B', 'B1', 'B2');

CREATE TABLE foo (
    id int PRIMARY KEY GENERATED ALWAYS AS IDENTITY,
    value varchar NOT NULL
);

CREATE TABLE bar (
    id int PRIMARY KEY GENERATED ALWAYS AS IDENTITY,
    value varchar NOT NULL,
    foo_id int NOT NULL,
    CONSTRAINT fk_bar_foo FOREIGN KEY (foo_id) REFERENCES foo(id)
);

WITH new_foos AS (
    INSERT INTO foo (value)
    SELECT foo FROM raw_data
    RETURNING *
)
INSERT INTO bar (foo_id, value)
SELECT
    f.id,
    unnest(ARRAY[r.bar_1, r.bar_2])
FROM new_foos f
JOIN raw_data r
    ON r.foo = f.value;

它工作正常，但是从性能的角度来看，不得不返回并重新扫描原始数据表似乎很可惜。 IE。一次插入foo，然后再次插入bar。

我很想知道这是否是一种最佳方法，或者如果不是，可以做些什么来改进它。

Answer 1

嗯，是的，但想想看，如果你有足够的内存来保存 Json，那么你就有足够的内存来保存表格。因此两次传递数据可能会更快。 1 次用于磁盘，1 次来自内存。出于这个原因，DBMS 倾向于在内存中保留最不常用的数据。免责声明：我的主要经验是使用 Oracle，所以我可能会在这里投射到 Postgres，但我认为它会起到缓冲作用。

Answer 2

我已经玩了一段时间了，我想把它作为一个可能的建议扔出去。如果您使用 CTE 将数据放入 JSON 结构（手动生成 PK），然后从中插入每个表会怎样？

像这样：

WITH raw_as_json AS (
    SELECT
        jsonb_build_object(
            'id', NEXTVAL('foo_seq'),
            'value', foo,
            'bars', json_build_array(bar_1, bar_2)
        ) AS foobar
    FROM raw_data
), foos AS (
    INSERT INTO foo (id, value)
    SELECT
        (foobar -> 'id')::int,
        foobar -> 'value'
    FROM raw_as_json
)
INSERT INTO bar (id, foo_id, value)
SELECT
    NEXTVAL('bar_seq'),
    (foobar -> 'id')::int,
    jsonb_array_elements_text(foobar -> 'bars')
FROM raw_as_json;

它只需要扫描一次原始数据。我还没有完全权衡 CTE、json 等的性能问题。我很感激对这种方法的任何批评，我仍然会坚持一个更好（或更不奇怪）的答案。