我正在使用高速数据流并执行以下步骤将数据存储在 MySQL 数据库中。对于每件新到货。
我已使用INSERT ... ON DUPLICATE KEY UPDATE 消除了到数据库的一次额外往返。
在尝试提高整体性能的同时，我考虑过通过以下方式进行批量更新：
定期将文件中的 SQL 语句刷新到数据库中。
两个问题：
更新：我正在使用 Perl DBI + MySQL MyISAM。
提前感谢任何 cmets。
【问题讨论】：
标签： mysql optimization bulkinsert
如果您的数据不需要立即进入数据库，您可以将插入数据缓存在某处，然后发出更大的插入语句，例如
在重复更新时插入 table_name (x, y, z) 值 (x1, y1, z1), (x2, y2, z2), ... (xN, yN, zN) ...;
为了清楚起见，我会维护一个待处理插入的列表。在这种情况下，是 (x,z,y) 三元组的列表。然后，一旦您的列表超过某个阈值 (N)，您就会生成插入语句并发出它。
我没有准确的时间数据给你，但与单独插入每一行相比，这提高了大约 10 倍的性能。
我也没有玩过 N 的值，但我发现 1000 可以很好地工作。我预计最佳值会受到硬件和数据库设置的影响。
希望这会有所帮助（我也在使用 MyIsam）。
【讨论】：
您没有说您正在运行什么样的数据库访问环境（PERL DBI？JDBC？ODBC？），或者您正在使用什么样的表存储引擎（MyISAM？InnoDB？）。
首先，您选择 INSERT ... ON DUPLICATE KEY UPDATE 是正确的。好办法，除非你能保证唯一的键。
其次，如果您的数据库访问环境允许，您应该使用准备好的语句。如果您将一堆语句写入文件，然后让数据库客户端再次读取该文件，您肯定不会获得良好的性能。直接从使用传入数据流的软件包执行 INSERT 操作。
第三，选择合适的表存储引擎。 MyISAM 插入将比 InnoDB 更快，因此，如果您正在记录数据并稍后检索它，那将是一个胜利。但是 InnoDB 具有更好的事务完整性。如果您确实要处理大量数据，并且不需要经常阅读，请考虑使用 ARCHIVE 存储引擎。
最后，考虑在一批 INSERT ... 命令的开头执行 START TRANSACTION，然后在固定行数（如 100 左右）之后执行 COMMIT 和另一个 START TRANSACTION。如果您使用的是 InnoDB，这将大大加快速度。如果您使用的是 MyISAM 或 ARCHIVE，那没关系。
您的重大胜利将来自准备好的语句材料和存储引擎的最佳选择。
【讨论】：