限制 ALTER TABLE 磁盘利用率

Question

我将从 MySQL Online DDL Limitations 页面中的一些内容开始：

没有机制可以暂停在线 DDL 操作或限制在线 DDL 操作的 I/O 或 CPU 使用率。

但是，我仍然对可能错过的解决方案感兴趣。

情况：索引越来越大，而且它们变得越来越大，以至于没有足够的内存来处理所使用的查询，导致磁盘 I/O 猛增，一切都陷入了彻底的混乱.已创建较小的新复合索引，但问题是在运行 ALTER TABLE 时不会破坏任何内容。

事实如下：

1. 这是一个 InnoDB 表。
2. 该表没有主键或唯一索引。
3. 列组合不适合用作主键或唯一索引。
4. 该表没有外键。
5. 该表每月分区（当前为 50 个）。
6. 该表必须始终接受写入。
7. 最新的 3-6 个分区必须接受读取。
8. 有一个id 列，但这不是唯一的。
9. 该表由大约 20 亿行组成。
10. 当前月份的分区是唯一接收写入的分区。
11. 提前 1 个月进行分区；总是有一个空分区。

SHOW CREATE TABLE（我没有包括所有分区）：

CREATE TABLE `my_wonky_table` (
  `id` bigint(20) unsigned NOT NULL,
  `login` varchar(127) DEFAULT NULL,
  `timestamp` int(10) unsigned NOT NULL,
  `ip` varchar(32) CHARACTER SET ascii DEFAULT NULL,
  `val_1` int(10) unsigned DEFAULT NULL,
  `val_2` varchar(127) DEFAULT NULL,
  `val_3` varchar(255) DEFAULT NULL,
  `val_4` varchar(127) DEFAULT NULL,
  `val_5` int(10) unsigned DEFAULT NULL,
  KEY `my_wonky_table_id_idx` (`id`),
  KEY `my_wonky_table_timestamp_idx` (`timestamp`),
  KEY `my_wonky_table_val_1_idx` (`val_1`,`id`),
  KEY `my_wonky_table_val_2_idx` (`val_2`,`id`),
  KEY `my_wonky_table_val_4_idx` (`val_4`,`id`),
  KEY `my_wonky_table_val_5_idx` (`val_5`,`id`),
  KEY `my_wonky_table_ip_idx` (`ip`,`id`),
  KEY `my_wonky_table_login_idx` (`login`,`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
/*!50100 PARTITION BY RANGE (`id`)
(PARTITION pdefault VALUES LESS THAN MAXVALUE ENGINE = InnoDB) */

关于查询：在id 上始终是SELECT，其他所有内容都用于过滤。

我想避免的：

• 关闭数据库实例。
• 100% 的磁盘 I/O

我曾想过使用pt-online-schema-change 工具进行节流，但遇到了无主键墙。一个不同的解决方案是在代码中执行此操作，有效地将触发器移动到代码库，并使用有些奇怪的块（例如，使用时间戳列的一个小时的数据块）缓慢复制数据，因为没有唯一索引。

是否有其他可用的解决方案和/或工具？

Answer 1

1. 创建一个类似于real 表的new 表，但使用修改后的索引。包括PRIMARY KEY，这样您就不会再次被困。 -- 这是ALTER，但还不是“填充”。
2. 在新表中，对旧表使用季度或年度分区；当前和（以后）未来的分区每月一次。 -- 这是为了减少分区的总数。我的经验法则是“不超过 50 个分区”。 （如果您对此计划有任何疑问，请告诉我。）
3. 编写一个脚本，将旧分区中的所有数据慢慢复制到new表中。我对chunking 的建议可能在这里有用。
4. 就在您赶上之前，创建一个新分区。但不要复制它。在前一个分区的末尾停止“复制”脚本。
5. 当赶上时除了这个新分区，停止写入。
6. 复制最后一个分区。 -- 这就是第 4 步奏效的地方。
7. 原子交换：RENAME TABLE real TO old, new TO real;。然后再次打开写入。

强烈建议编写所有脚本并在另一台机器上练习。练习可以在总数的一小部分上进行，但至少需要有几个分区。

Answer 2

我将此作为单独的答案提出，因为最里面的部分完全不同。

与我的其他答案一样，您需要具有新索引的 new 表，以及用于复制所有数据的脚本。但是，关键是在您的应用程序中模拟触发器。

幸运的是，您拥有id，尽管它不是PRIMARY KEY。而且，即使不是UNIQUE，也可以使用它（假设您没有数千行具有相同的 id -- 如果有，我们可以进一步讨论）。

“复制脚本”和应用程序相互通信。

复制脚本在一个很长的循环中：

• SELECT GET_LOCK('copy', 5), high_water_mark FROM tbl; --（或其他超时）
• 用id BETWEEN high_water_mark AND high_water_mark + 999复制行。
• UPDATE tbl SET high_water_mark = high_water_mark + 1000;
• 短暂暂停（1 秒？）
• 循环直到没有ids

应用程序在读取时会继续从旧表中读取。但在写作时，它确实：

• SELECT GET_LOCK('copy', 5), high_water_mark FROM tbl; -- （或其他超时）
• 如果超时，则需要修复一些问题。
• 写入旧表 --（因此，读取继续有效）
• 如果id high_water_mark，也写入新表。
• SELECT RELEASE_LOCK('copy');

监控进度。在某些时候，您需要停止一切，复制最后几行并执行RENAME TABLE。

我不知道你的超时、睡眠或块大小的最佳值。但我认为块大小大于 1K 是不明智的。

这种技术对于您将来可能需要进行的各种更改具有优势，因此请保持胆量。

Answer 3

这将归结为您使用的 MySQL 变体和版本，但如果它是每个连接一个线程（my.cnf thread_handling=one-thread-per-connection，这可能是您构建的默认设置），您可以将您的 @987654322 @workload 在一个新的连接中，那么workload就是一个唯一的PID，可以在上面使用ionice/renice。

我的答案有点蹩脚，但它比其他选项更具侵略性。

如果您查看ps -eLf |grep mysql，您可以看到线程/轻量级进程，并且只需要弄清楚哪个 PID 属于您的特定连接。如果您通过 TCP 连接，您可以匹配您的本地连接端口并将其映射到 lsof 以查找特定线程。其他方法也可以使用 strace、systemtap 等，或者运行您可以关注的初始查询。

之后，您可以使用ionice/renice 来影响系统上的PID。你真的想确保你捕捉到它是什么 PID，然后重置 nice 和优先级，以免影响其他任何东西。

与其他人一样，从长远来看，您确实需要重塑这张桌子。分区很有用，但不是最终结果，因为您正在运行 1.3TiB 的在线数据，并且您声明您只需要从最近的 3-6 个分区中读取。在添加本机分区之前来自 MySQL，我认为这对于 VIEW 和单独的表来说是一个很好的案例（当您需要翻转时自动更新 VIEW）。它还可以让您轻松地将一些旧表移动到离线存储。