分区后插入主表的数据

Question

我正在 postgres 数据库上处理一个超过 1 TB 并且有大约 20 亿条记录的数据库表。因此，我决定根据“时间戳”列对表进行分区。

-- Step 1. 创建分区表

CREATE TABLE bigtable_y2019 (
    CHECK (timestamp >= '2019-01-01' AND timestamp < '2020-01-01')
) INHERITS (bigtable);

CREATE TABLE bigtable_y2020 (
    CHECK (timestamp >= '2020-01-01' AND timestamp < '2021-01-01')
) INHERITS (bigtable);

-- Step 2. 在键列上创建索引（时间戳）

CREATE UNIQUE INDEX bigtable_y2019_pkey ON bigtable_y2019 USING btree (id);
CREATE INDEX bigtable_y2019_timestamp ON bigtable_y2019 (timestamp);

CREATE UNIQUE INDEX bigtable_y2020_pkey ON bigtable_y2020 USING btree (id);
CREATE INDEX bigtable_y2020_timestamp ON bigtable_y2020 (timestamp); 

-- Step 3. 创建函数

CREATE OR REPLACE FUNCTION bigtable_insert_trigger()
RETURNS TRIGGER AS $$
BEGIN
IF (NEW.timestamp >= '2020-01-01' AND NEW.timestamp < '2021-01-01') THEN
        INSERT INTO bigtable_y2020 VALUES (NEW.*);
    ELSIF (NEW.timestamp >= '2019-01-01' AND NEW.timestamp < '2020-01-01') THEN
        INSERT INTO bigtable_y2019 VALUES (NEW.*);    
    ELSE
        RAISE EXCEPTION 'Date out of range.  Fix the bigtable_insert_trigger() function!';
    END IF;
    -- My understanding was this should have prevented inserting data into master table
    RETURN NULL;
END;
$$
LANGUAGE plpgsql;

-- Step 4. Enable Trigger ON BEFORE INSERT EVENT 并执行函数

CREATE TRIGGER insert_bigtable_trigger BEFORE INSERT ON bigtable FOR EACH ROW EXECUTE FUNCTION bigtable_insert_trigger();

-- Step 5. 设置 enable_partition_pruning 和 constraint_exclusion 为 ON

SET enable_partition_pruning = ON;
SET constraint_exclusion = ON;

上述这些步骤不仅在子表上插入记录，而且在父表上也插入记录，这是我试图避免的。

因此，我尝试为 AFTER INSERT 事件创建另一个触发器以删除父表。这不是最好的方法，但我想看看它是如何工作的。

--因为，tripdetail_insert_trigger 中的 RETURN NULL 并不能避免插入主表，所以我创建了一个解决方法来从主表中删除该记录。

CREATE OR REPLACE FUNCTION bigtable_mastertable_record_delete_trigger()
RETURNS TRIGGER AS $$
BEGIN
DELETE FROM ONLY bigtable WHERE id = NEW.id;
END;
$$
LANGUAGE plpgsql;

CREATE TRIGGER delete_bigtable_mastertable_record_trigger AFTER INSERT ON bigtable FOR EACH ROW EXECUTE FUNCTION bigtable_mastertable_record_delete_trigger();

父表和子表之间存在同步。如果记录被插入到子表中，那么在父表中也是如此，如果记录在其中任何一个中被删除，那么记录也会在另一个中被删除。

但是，我正在尝试根据时间戳将新记录插入到相应的子表中，并最终使父表为空，这应该基于表分区的工作原理。

Answer 1

当使用 PostgreSQL 11 的分区功能时，父表将只是一个定义，不会包含任何条目。请参阅此处的声明性分区部分https://www.postgresql.org/docs/11/ddl-partitioning.html#DDL-PARTITIONING-DECLARATIVE

如果您有现有数据库，则需要以下步骤：

1. 重命名旧表

   ALTER TABLE bigtable 重命名为 bigtable_pre_partitioning；

2. 创建分区表（定义结构、索引、范围键）

   创建表大表（ id int 不为空， logdate 日期不为空 ) 按范围分区 (logdate);

3. 创建分区

   创建表 bigtable_2020_01 大表分区 从 ('2020-01-01') 到 ('2020-02-01') 的值；

4. 创建另一个分区

   创建表 bigtable_2020_02 大表分区 从 ('2020-02-01') 到 ('2020-03-01') 的值；

5. 附加旧分区（这需要很长时间，具体取决于您拥有多少数据）

   ALTER TABLE bigtable 附加分区 bigtable_pre_partitioning 从 (MINVALUE) 到 ('2020-01-01') 的值；

6. 现在您可以将条目直接插入到 bigtable 父级中，它们将位于正确的分区中。

   插入大表 ...

注意事项：

• 主键必须包含范围键
• 如果您在父表上创建索引 -> 新分区将继承它
• 如果在父表上创建约束 -> 新分区将继承它
• 如果您没有匹配的分区范围，您可以创建一个默认表，所有条目都会在其中放置

希望这会有所帮助。上面链接的文章包含一个关于最佳实践的部分，非常有用。

Answer 2

enable_partition_pruning 已在 PostgreSQL 11 中添加。 如果您使用的是 PostgreSQL 11，那么为什么不在 PostgreSQL 11 中使用表分区功能 https://www.postgresql.org/docs/11/ddl-partitioning.html