MySQL 更新在表末尾变得非常缓慢

Question

我有一个表“数据”，其中包含大约 100,000,000 条记录。 我已经向它添加了一个新列“batch_id”（整数）。

在应用程序层，我正在为 100,000,000 条记录中的每条记录更新 batch_id，每批 10,000 条记录（对于 10k，batch_id 始终相同）。

我正在做这样的事情（应用层伪代码）：

loop {
  $batch_id = $batch_id + 1;
  mysql.query("UPDATE data SET batch_id='$batch_id' WHERE batch_id IS NULL LIMIT 10000");
}

我在 batch_id 列上有一个索引。

一开始，这个更新语句需要大约 30 秒。我现在已经完成了表的一半，而且它变得越来越慢。目前，相同的语句大约需要 10 分钟（！）。它已经到了不再可行的地步，因为以当前速度更新整个表需要一个多月的时间。

我可以做些什么来加快它，为什么 MySQL 在表的末尾变得越来越慢？ 主键索引有帮助吗？

Answer 1

表中是否有单调递增的 id？并且“批次”的所有行都有“连续”ID？然后不要将batch_id 添加到表中，而是创建另一个表Batches，每批一行：（batch_id (PK)、id_start、id_end、start_time、end_time 等）。

如果您坚持精确的 10K 块，那么甚至不要实现 batch_id。而是在需要时从id DIV 10000 计算它。

如果您想进一步讨论这个问题，请为现有表提供SHOW CREATE TABLE，并说明您将如何处理“批次”。

要回答您关于“接近尾声的缓慢”的问题：它必须在表格中扫描得越来越远才能找到NULLs。你最好在桌子上走一遍，边走边摆弄每一个 10K 块。使用PRIMARY KEY 执行此操作，无论它是什么。 （也就是说，即使不是AUTO_INCREMENT。）More Details。

Answer 2

Is the primary key automatically indexed in MySQL?答案是肯定的

因此，batch_id 的一个索引会有所帮助。

问题是没有索引引擎会进行全表扫描。一开始很容易找到带有空值的 10k，但是当更新越来越多的记录时，引擎必须扫描更多才能找到这些空值。

但应该更容易将batch_id 创建为自动数字列

其他选项：创建一个新表，然后添加索引并替换旧表。

CREATE newTable as 
    SELECT IF(@newID := @newID + 1,
              @newID DIV 10000,
              @newID DIV 10000) as batch_id,
           <other fields>
    FROM YourTable         
    CROSS JOIN (SELECT @newID :=0 ) as v

Insert auto increment primary key to existing table