将数千条记录插入数据库

Question

我的服务器接收数据并应该插入或更新现有的数据库表。我的问题是数据量巨大，接收到数千条记录，并且一条一条地写入可能需要数小时。有没有办法优化写作？我还应该说，每次写入之前都有一个查询，以检查记录是否已经在数据库中。

目前，我使用带有 TTL 的缓存来跳过重复记录。我还使用信号量来防止一次过多的数据库写入请求（可能会引发超时错误）。

Answer 1

• 收集一百行，构建一个多行INSERT 并执行它。 （10 倍加速）
• 将 100 个 1 行 INSERTs 放入 BEGIN..COMMIT。 （10 倍加速）
• 检查您没有任何未使用的索引。 （避免长期陷入困境）

提供SHOW CREATE TABLE；我可能有更多的建议。

duplicate 记录是什么意思？所有列都一样吗？只是一些UNIQUE 列是一样的吗？这里可能有一些技巧可以提供帮助。

即使没有上述建议，一对一插入的 1000 行也应该不超过 10 秒。这个过程还涉及其他一些事情。请详细说明。