【问题标题】:Large MySQL table with very slow select选择非常慢的大型 MySQL 表
【发布时间】:2011-08-17 10:20:39
【问题描述】:

我在 MySQL 中有一个大表(在 MAMP 中运行),它有 2800 万行,大小为 3.1GB。这是它的结构

    CREATE TABLE `termusage` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `termid` bigint(20) DEFAULT NULL,
  `date` datetime DEFAULT NULL,
  `dest` varchar(255) DEFAULT NULL,
  `cost_type` tinyint(4) DEFAULT NULL,
  `cost` decimal(10,3) DEFAULT NULL,
  `gprsup` bigint(20) DEFAULT NULL,
  `gprsdown` bigint(20) DEFAULT NULL,
  `duration` time DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `termid_idx` (`termid`),
  KEY `date_idx` (`date`),
  KEY `cost_type_idx` (`cost_type`),
  CONSTRAINT `termusage_cost_type_cost_type_cost_code` FOREIGN KEY (`cost_type`) REFERENCES `cost_type` (`cost_code`),
  CONSTRAINT `termusage_termid_terminal_id` FOREIGN KEY (`termid`) REFERENCES `terminal` (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=28680315 DEFAULT CHARSET=latin1

这是 SHOW TABLE STATUS 的输出:

Name,Engine,Version,Row_format,Rows,Avg_row_length,Data_length,Max_data_length,Index_length,Data_free,Auto_increment,Create_time,Update_time,Check_time,Collation,Checksum,Create_options,Comment    
'termusage', 'InnoDB', '10', 'Compact', '29656469', '87', '2605711360', '0', '2156920832', '545259520', '28680315', '2011-08-16 15:16:08', NULL, NULL, 'latin1_swedish_ci', NULL, '', ''

我正在尝试运行以下选择语句:

    select u.id from termusage u
    where u.date between '2010-11-01' and '2010-12-01'

返回结果需要 35 分钟(大约 1400 万行)- 这是使用 MySQL Worksbench。

我有以下 MySQL 配置设置:

Variable_name              Value
bulk_insert_buffer_size    8388608
innodb_buffer_pool_instances   1
innodb_buffer_pool_size    3221225472
innodb_change_buffering    all
innodb_log_buffer_size     8388608
join_buffer_size               131072
key_buffer_size            8388608
myisam_sort_buffer_size    8388608
net_buffer_length              16384
preload_buffer_size            32768
read_buffer_size               131072
read_rnd_buffer_size       262144
sort_buffer_size               2097152
sql_buffer_result              OFF

最终我试图运行一个更大的查询 - 连接几个表并对一些数据进行分组,所有这些都基于变量 - 客户 ID -

select c.id,u.termid,u.cost_type,count(*) as count,sum(u.cost) as cost,(sum(u.gprsup) + sum(u.gprsdown)) as gprsuse,sum(time_to_sec(u.duration)) as duration 
from customer c
inner join terminal t
on (c.id = t.customer)
inner join termusage u
on (t.id = u.termid)
where c.id = 1 and u.date between '2011-03-01' and '2011-04-01' group by c.id,u.termid,u.cost_type

这将返回最多 8 行(因为只有 8 个单独的 cost_types - 但此查询在 termusage 表中没有太多(少于 100 万)行要计算的情况下运行正常 - 但当termusage 表中的行很大 - 如何减少选择时间。

使用 LOAD DATA 方法将数据每月一次从 CSV 文件添加到 termusage 表 - 因此不需要为插入进行如此调整。

编辑:在主查询中显示解释:

id,select_type,table,type,possible_keys,key,key_len,ref,rows,Extra
1,SIMPLE,c,const,PRIMARY,PRIMARY,8,const,1,"Using index; Using temporary; Using filesort"
1,SIMPLE,u,ALL,"termid_idx,date_idx",NULL,NULL,NULL,29656469,"Using where"
1,SIMPLE,t,eq_ref,"PRIMARY,customer_idx",PRIMARY,8,wlnew.u.termid,1,"Using where"

【问题讨论】:

    标签: mysql


    【解决方案1】:

    您似乎在问两个问题 - 对吗?

    第一个查询需要这么长时间的最可能原因是它受 IO 限制。将 1400 万条记录从磁盘传输到您的 MySQL 工作台需要很长时间。

    您是否尝试过将第二个查询放在“解释”中?是的,您只能取回 8 行 - 但 SUM 操作可能会汇总数百万条记录。

    我假设“客户”和“终端”表已正确编入索引?当您加入 termusage 的主键时,这应该非常快...

    【讨论】:

    • 第一个查询只是为了演示表的缓慢性 - 我实际上并没有运行那个查询我只运行最后一个......我已经在问题的最终查询中添加了一个显示解释 -希望能提供一些答案?
    • 酷。解释表明查询没有使用 termusage 表上的索引,这说明了很多......您可以尝试在 termid 和 date 列上创建索引。
    • 好的 - 我绝不是 MySQL 专家 - 我更像是 PHP / Java / 前端开发人员 - 我正在努力寻找解释解释结果的好资源 - 你有吗?或者指出我正确的方向?
    • @Nevile K - 创建一个包含 2 列的索引?或创建 2 个索引(每列 1 个)抱歉!?!?
    • 为两列创建索引 - 您已经在每个单独的列上获得了索引。 “在 termusage(termid, date) 上创建索引测试”应该可以解决问题...
    【解决方案2】:

    您可以尝试删除按日期限制的 where 子句,而是在 select 中放置一个 IF 语句,这样如果日期在这些边界内,则返回值,否则返回零值。然后,SUM 当然只会对位于此范围内的值求和,因为所有其他值都为零。

    获取比您需要的更多的行听起来有点荒谬,但我们最近在 Oracle DB 上观察到,这取得了相当大的改进。当然,这将取决于许多其他因素,但可能值得一试。

    【讨论】:

    • 感谢您的建议 - 只要索引(来自 Pelshoff 的评论)创建完成,我就会看到 select 语句在没有日期的情况下运行多长时间!
    • Pelshoff 删除了他的答案!
    • @Pelshoff - 没有问题......没有错误的答案......这让我想到了索引的设置方式!
    • 好吧,我很高兴它做了一些事情:p
    • 考虑索引总是一个好主意 - 您可能想尝试创建一个索引,以相同的顺序包含 group by 子句中的所有列。
    【解决方案3】:

    您还可以考虑将表格分解为年或月。所以你有一个 termusage_2010, termusage_2011, ... 或类似的东西。

    不是一个很好的解决方案,但是看到您的表很大,它可能在较小的服务器上很有用。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-03-18
      • 1970-01-01
      • 2014-03-10
      • 1970-01-01
      • 1970-01-01
      • 2020-10-17
      相关资源
      最近更新 更多