如何将 *huge* 数据块导入 PostgreSQL？

Question

我有一个如下所示的数据结构：

Model Place
    primary key "id"

    foreign key "parent" -> Place
    foreign key "neighbor" -> Place (symmetryc)
    foreign key "belongtos" -> Place (asymmetric)

    a bunch of scalar fields ...

模型表中有超过 500 万行，我需要在两个外键表中的每一个中插入 ~5000 万 行。我有SQL 看起来像这样的文件：

INSERT INTO place_belongtos (from_place_id, to_place_id) VALUES (123, 456);

每个大约 7 Gb。问题是，当我执行psql < belongtos.sql 时，在我的 AMD Turion64x2 CPU 上导入 ~400 万 行大约需要 12 小时。操作系统是 Gentoo ~amd64，PostgreSQL 是 8.4 版，本地编译。数据目录是绑定挂载，位于我的第二个扩展分区 (ext4)，我认为这不是瓶颈。

我怀疑插入外键关系需要很长时间，因为psql 检查每一行的键约束，这可能会增加一些不必要的开销，因为我确信数据是有效的。有没有办法加快导入，即暂时禁用约束检查？

Answer 1

1. 确保两个外键约束都是DEFERRABLE
2. 使用COPY 加载您的数据
3. 如果您不能使用 COPY，请使用 prepared statement 作为 INSERT。
4. 适当的配置设置也会有所帮助，请检查WAL 设置。

Answer 2

答案是肯定的...Depesz wrote an article here on deferrable uniqueness。不幸的是，它似乎是 9.0 的功能。

嗯...也许那篇文章不适用于您的情况？似乎我们已经能够set constraints to deferred 有一段时间了...我猜独特是一种独特的情况（双关语）。