截断行并插入新行而不引入服务中断？

Question

我在 PostgreSQL 9.5 数据库表中有大约 1,500,000 条记录，并且我得到了一个 CSV 文件（通过 http post 请求），其中包含新的约 1,500,000 行，其中一些未更改，一些不同，还有一些已删除与原始行相比。

然后

1. 截断旧表
2. 循环遍历 CSV 文件的行
3. 将每一行插入表格中

我需要一种方法来做到这一点， 不会向我的客户引入服务中断，即服务应该继续使用旧数据，直到完成所有三个步骤。目前，服务中断时间约为 1 小时，这是读取 CSV 并插入所有新行所需的时间。如果需要，我可以休息 5 分钟。

我怎样才能实现这样的行为？

这是我的 Python 脚本的缩短版本：

cursor = conn.cursor(cursor_factory=DictCursor)
cursor.execute('TRUNCATE TABLE rows CASCADE')
with open(request.files.csv) as csv_file:
    for line in csv_file:
        row = parse_line(line)
        cursor.execute(
            '''INSERT INTO rows (name, bla, blu)
            VALUES (%(name)s, %(bla)s, %(blu)s)''',
            row,
        )
cursor.commit()

Answer 1

1. 使用 COPY 而不是 with open(request.files.csv)，因为 1,500,000 行会在几秒钟内从 CSV 复制到表中
2. 如果这些秒数（假设一分钟）太长，仅使用事务将无济于事，导致 truncate requires lock 在表上，而不是行上

TRUNCATE 在它操作的每个表上获取一个 ACCESS EXCLUSIVE 锁 开

因此，如果您可以重建表上的所有依赖对象，那么最好的可能是：

create t_table as select * from "rows" where false;
copy t_table from request.files.csv;
--build all needed dependant objects (indexes, constraints,triggers);
begin;
  alter table "rows" rename to "some_name";
  alter table "t_table " rename to "rows";
end;
--here is a miliseconds glitch to swith for users (if you use memcache or so - need to refresh it)
drop table "some_name";

更新 to copy columns from csv to several table columns list columns:

复制表名 [ ( 列名 [, ...] ) ]