mySQL - 查询行数和总百分比太慢

Question

名为“log”的表，目前有 5000 万行：

| id     | domainIP        |
| foo    | 158.132.34.5    |
| bob    | 128.12.244.3    |
| bob    | 128.12.244.3    |
| bob    | 19.152.134.4    |
| bob    | 168.152.34.9    |
| alice  | 178.132.64.10   |
| alice  | 188.152.214.200 |
| peter  | 208.162.36.153  |
| peter  | 208.162.36.153  |
| peter  | 208.162.36.153  |
| peter  | 198.168.94.201  |

我有以下查询，以获取id 与每个“域IP”一起使用的次数，以及每个“域IP”的百分比：

SELECT
    `log`.`id`,
    `log`.`domainIP`,
    COUNT(`log`.`domainIP`) AS "Times",
    totalsTable.Totals,
    (COUNT(`log`.`domainIP`)/totalsTable.Totals)*100 AS "Percentage"
FROM `log`
JOIN
    (
    SELECT
        `id`,
        COUNT(`domainIP`) AS Totals
    FROM `log` GROUP BY `id`
    ) AS totalsTable

ON (`log`.`id` = totalsTable.`id`)

GROUP BY `log`.`domainIP` ORDER BY `log`.`id` ASC, "Percentage"  DESC

返回：

| id     | domainIP        | Times | Totals | Percentage
| foo    | 158.132.34.5    | 1     | 1      | 100
| bob    | 128.12.244.3    | 2     | 4      | 50
| bob    | 19.152.134.4    | 1     | 4      | 25
| bob    | 168.152.34.9    | 1     | 4      | 25
| alice  | 178.132.64.10   | 1     | 2      | 50
| alice  | 188.152.214.200 | 1     | 2      | 50
| peter  | 208.162.36.153  | 3     | 4      | 75
| peter  | 198.168.94.201  | 1     | 4      | 25

结果正是我需要的，但速度太慢了（需要几分钟）。

这是从 phpmyadmin 导出的表结构。

CREATE TABLE `log` (
  `id` varchar(150) COLLATE utf8_unicode_ci DEFAULT NULL,
  `eDate` datetime DEFAULT NULL,
  `domainIP` varchar(150) COLLATE utf8_unicode_ci DEFAULT NULL,
  `event` varchar(150) COLLATE utf8_unicode_ci DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

ALTER TABLE `log`
  ADD UNIQUE KEY `logUnique` (`id`,`eDate`,`event`),
  ADD KEY `eDate` (`eDate`),
  ADD KEY `id` (`id`,`eDate`),
  ADD KEY `event` (`id`,`eDate`,`event`);

对较小版本的表进行 EXPLAIN 查询的结果：

id | select_type | table | type  | possible_keys      | key       | key_len | ref            | rows  | Extra
1 | PRIMARY | <derived2> | ALL   | NULL               | NULL      | NULL    | NULL           | 100   | Using where; Using temporary; Using filesort 
1 | PRIMARY | log        | ref   | logUnique,id,event | logUnique | 453     | totalsTable.id | 1     |  
2 | DERIVED | log        | index | NULL               | id        | 459     | NULL           | 100   |

我需要制定一个返回相同但可用的查询（以秒而不是分钟的方式返回结果），但不知道如何

注意：给 domainIP 添加索引只会稍微改善小样本的响应，但完整的表仍然需要 10 多分钟才能返回结果。

该表是为其他目的而创建的，我更愿意尽可能少地修改它的结构。

Answer 1

您可能会发现这有点快。从这个版本开始：

SELECT l.id, l.domainIP, COUNT(*) as Times,
       (SELECT COUNT(*) FROM log l2 WHERE l2.id = l.id) as Total
FROM log l
GROUP BY l.id, l.domainIP
ORDER BY l.id ASC;

您现有的以id 开头的索引应该足够了。

实际上，您甚至可以删除相关子查询来仅衡量GROUP BY 的性能。如果它不够好，那么您基本上知道您无法改进更复杂的查询。您将需要尝试其他方法，例如使用触发器来保持总计数。

Answer 2

简而言之，查询花费如此长的时间并不奇怪，因为有varchar非唯一id和varchardomainIP。字符串比较可能比比较int 字段慢很多数量级。您应该考虑进行非规范化：

1. id 字段必须是唯一标识符，例如longint；
2. 您应该声明像user_names of id 和user_name 这样的表。然后你应该声明像'user_ips'这样的表，由id、user_id（实际上是user_names的一个ID）和domainIP组成。

只有这几个更改必须显着提高查询速度。希望对你有所帮助