SQL Server 上的慢速插入语句

Question

单个插入语句有时会花费超过 2 秒。插入可能是并发的，因为这取决于我们的网站流量，这可能导致每分钟 200 次插入。

该表有超过 150M 的行、4 个索引，并且可以使用简单的 select 语句进行访问以进行报告。

显示输出的索引

考虑到所有索引都需要，如何加快插入速度？

Answer 1

您没有提供很多详细信息，但您似乎需要分区。

数据库索引中的插入操作通常具有 O(logN) 时间复杂度，其中 N 是表中的行数。如果你的表真的很大，甚至 logN 可能会变得太多。

因此，为了解决可伸缩性问题，您可以利用索引分区将表索引透明地拆分为较小的内部部分，并在不更改应用程序或 SQL 脚本的情况下减少 N。

https://dev.mysql.com/doc/refman/5.7/en/partitioning-overview.html

[编辑]

考虑最初在 cmets 中添加的信息，现在在问题本身中更新。

• 每分钟 200 次潜在的并发插入
• 4 个索引
• 1 选择用于报告目的

有一些不相互排斥的改进：

• 检查 EXPLAIN 的输出以获取该 SELECT 并删除未使用的索引，否则，将它们合并到一个索引中。

• 批量插入

  • https://dev.mysql.com/doc/refman/5.6/en/insert-optimization.html
  • https://dev.mysql.com/doc/refman/5.6/en/optimizing-innodb-bulk-data-loading.html

• 分区仍然是一种选择。

或者，改变您的方法：将数据保存到像 redis 这样的 nosql 数据库中，并异步填充 mysql 表以进行报告。