PostgreSQL COPY FROM 命令帮助

Question

我有一个非常大的 CSV 文件（几百 MB），我正在尝试将其导入 Postgres 表，出现问题时出现一些主键违规（CSV 文件中的重复记录）

如果是这样，我可以手动过滤掉这些记录，但这些文件是由每小时生成此类数据的程序生成的。我的脚本必须自动将其导入数据库。

我的问题是：有什么办法可以让我在 COPY 命令或 Postgres 中设置一个标志，这样它就可以跳过重复的记录并继续将文件导入表？

Answer 1

我的想法是通过两种方式解决这个问题：

1. 在复制过程中使用可帮助创建重复行的“异常报告”的实用程序such as this one。
2. 通过首先将数据加载到临时表中来更改您的工作流程，按摩它以查找重复项（可能与您的目标表连接并使用 dup 标志标记临时表中的所有现有记录），然后仅导入丢失的记录并发送复制到异常表。

我个人更喜欢第二种方法，但这取决于您的具体工作流程。