MySQL 分区或删除旧数据？

Question

我在 mySQL 上有一个最近的活动表，它的 MyISAM 包含大约 4600 万条记录。它已正确编入索引，并且所有这些都已完成。但有些查询仍然需要几秒钟的时间来执行。

所以我想知道，在这个数据库上提高查询性能的最佳方法是什么。我应该对表进行分区还是删除旧数据？我主要对这个月的数据进行一些计算来查询，另一个用途是向用户展示他们最近的活动，以及我们不得不不时手动监控他们的活动。

我一直在考虑删除所有早于今年的数据，这应该会删除大约 2400 万行。 （因为从本月初开始已经 4 个月了，所以旧的数据应该不那么重要了）。

或者我可以按月份进行分区，但我不知道在 laravel 中如何实现，我是否每次都必须更改分区才能获取比当前月份更早的数据？

编辑： 这 1 个查询是一个重要的查询，它是在用户的特定活动之后执行的，此特定查询需要 8 秒才能执行，并且使用 user_id 索引经过了 40,000 行。 如果它使用多个索引，将有助于我改进此查询，因为这样查询将被缩小到非常少的行。或者，如果我删除旧数据，那么完成计算所需的行数就会减少。

select  *
    from  `recent_activites`
    where  `id` > 20443580
      and  `user_id` = 20580
      and  `updated_at` > '2020-04-01 00:00:00'
      and  `type` in (?, ?, ?, ?, ?, ?, ?, ?, ?) ```

编辑： 询问 ： 此查询在 1 次执行时花费了 8.72 毫秒，但似乎总是花费超过 1 毫秒 时间存在是因为它减少了行数

这些是索引

Answer 1

您可以将一些数据移动到存档数据库，我的意思是将旧数据存储在单独的数据库（存档）中，并将实际数据存储在当前数据库中。在这种情况下，对于实际（新）数据和同时访问旧数据的可能性仍然很好。

要处理这个问题，您需要在 Laravel 系统中设置 2 个连接 - 在 config/database.php 中创建新连接。

现在您应该可以像这样访问您的存档数据了：

$archive_data = DB::connection('name_of_archive_connection')->table('table_name')->select('*')...
$actual_data = DB::connection('name_of_main_connection')->table('table_name')->select('*')...

您还可以通过插入/删除 mysql 函数（如上例）轻松地在数据库之间移动数据。

Answer 2

• 删除这么多表时，复制要保留的行会更快。
• 您应该从 MyISAM 迁移到 InnoDB。
• PARTITIONing 将有助于将来清除旧数据。
• 添加PARTITIONing 将花费时间。任何删除旧数据的技术也是如此。哪个更重要？减少堵塞？或者完成任务的速度。
• PARTITIONing 本身不会加快查询速度。但是，您似乎需要一个“二维”索引。
• 进行分区时必须重新考虑索引。
• 汇总表可能会显着提高性能。

上述几个步骤可以同时完成——切换到 InnoDB、添加分区、删除旧数据、更改索引。 （汇总表是一项单独的任务。）我建议在处理您的实时系统之前进行试验。

参考资料：

• 切换到 InnoDB：http://mysql.rjweb.org/doc.php/myisam2innodb
• 分区 -- 优点、缺点、指南、时间序列代码：http://mysql.rjweb.org/doc.php/partitionmaint
• 大DELETEs -- 多种技术，它们的优缺点：http://mysql.rjweb.org/doc.php/deletebig
• 汇总表：http://mysql.rjweb.org/doc.php/summarytables