【问题标题】:Best way to optimize MySQL operations after a table grows表增长后优化 MySQL 操作的最佳方法
【发布时间】:2015-06-29 02:09:31
【问题描述】:

背景信息:我们经营一个电子商务网站,并试图找出处理“历史”数据的最佳方法,这些表使用非常频繁且绑定也包含大量记录(即. 订单、客户等)。

我特别关注 2 个具体场景:

  • 数据库迁移
  • 选择

数据库迁移

在数据库迁移的情况下,我们开始看到有时我们需要运行一些锁定整个表的 ALTER TABLE,如果表有这么多记录,这可能需要一段时间。当然,在迁移完成之前,表上的所有操作都会暂停,这意味着我们的结帐可能会因为我们将VARCHAR(15) 更改为VARCHAR(256) 而关闭。

从 MySQL 5.6 开始,很多操作都是在“INPLACE”完成的,这意味着(来自what I understood)他们不会创建一个全表锁:这没问题,但仍然不完美——如果我们需要更改列的类型(不能执行 INPLACE)并且我们真的不想在维护模式下保持几分钟?

我的超级贫民窟想法是简单地复制表(复制它),然后在复制的表上执行迁移,停止写入原始表(即锁定它),将未同步的数据复制到复制一个并交换它们。我认为percona tool for zero-downtime migrations 做了类似的事情,所以也许这是“最好”的方法?

意见?

选择

对于SELECTs,由于大多数旧数据很少被访问,我想到了range-partitioning它按日期(例如2015年之前/2015年之后),然后更改我们的大部分查询以获取内容WHERE YEAR(created_at) >= 2015.

如果用户想要他的完整历史数据,那么我们会动态删除该条件。这以某种方式确保数据是well-partitioned。

还有什么想法吗?您认为分区是否值得?

【问题讨论】:

    标签: mysql database database-migration partitioning downtime


    【解决方案1】:
    • 直到 5.7.1 才能快速做到这一点:

    VARCHAR 的大小可以使用就地 ALTER TABLE 来增加,如 这个例子:

    ALTER TABLE t1 算法=INPLACE,更改列 c1 c1 VARCHAR(255);

    • 见pt-online-schema-change。

    • 如果您已经设置了复制,那么您可以玩ALTERing 从属的游戏,然后进行故障转移。 (是的,Percona 工具在这方面很方便。)

    • 不要在函数中“隐藏”列;优化器看不到它们:

      WHERE 年份(created_at)>= 2015。 --> WHERE created_at >= '2015-01-01'

    • 仅分区为 2 个分区不太可能带来任何性能优势。

    • 出于最终清除(通过DROP PARTITION)旧数据的目的,将某个日期的PARTITION BY RANGE(例如TO_DAYS())是合理的(并且通常会这样做)。 DROP 比 DELETE 大得多,侵入性也更小,仅此一项功能就证明了分区的合理性。您提到的修剪很少会加快查询速度(除非索引很差)。 More discussion of sliding time series

    【讨论】:

      猜你喜欢
      • 2014-07-19
      • 2014-10-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-10-02
      相关资源
      最近更新 更多