SQL 对单个表执行 INNER JOIN 的替代方法

Question

我有一个大表 (TokenFrequency)，其中有数百万行。 TokenFrequency 表的结构如下：

表 - 令牌频率

• id - int，主键
• 来源 - 整数、外键
• 令牌 - 字符
• count - int

我的目标是选择其中两个来源具有相同标记的所有行。例如，如果我的表格如下所示：

id --- 来源 --- 令牌 --- 计数
1 ------ 1 --------- 狗 ------- 1
2 ------ 2 --------- 猫 -------- 2
3 ------ 3 --------- 猫 -------- 2
4 ------ 4 --------- 猪 -------- 5
5 ------ 5 --------- 动物园 ------- 1
6 ------ 5 --------- 猫 -------- 1
7 ------ 5 --------- 猪 -------- 1

我想要一个 SQL 查询来给我源 1、源 2 和计数的总和。例如：

source1 --- source2 --- token --- 计数
---- 2 ----------- 3 --------- 猫 -------- 4
---- 2 ----------- 5 --------- 猫 -------- 3
---- 3 ----------- 5 --------- 猫 -------- 3
---- 4 ----------- 5 --------- 猪 -------- 6

我的查询如下所示：

SELECT  F.source AS source1, S.source AS source2, F.token, 
       (F.count + S.count) AS sum 
FROM       TokenFrequency F 
INNER JOIN TokenFrequency S ON F.token = S.token 
WHERE F.source <> S.source

这个查询工作正常，但我遇到的问题是：

1. 我有一个包含数百万行的 TokenFrequency 表，因此需要更快的替代方法来获得此结果。
2. 我当前的查询是重复的。例如它的选择：
   source1=2，source2=3，token=cat，count=4
   source1=3，source2=2，token=cat，count=4
   这不是什么大问题，但如果有办法消除这些问题并反过来提高速度，那将非常有用

我遇到的主要问题是查询速度，我当前的查询需要几个小时才能完成。我认为自己的表上的 INNER JOIN 是问题所在。我确信必须有一种方法来消除内部连接并仅使用 TokenFrequency 表的一个实例来获得类似的结果。我提到的第二个问题也可能会促进查询速度的提高。

我需要一种方法来重组此查询，以便以更快、更有效的方式提供相同的结果。

谢谢。

Answer 1

我需要更多信息来诊断速度问题，但要删除 dups，请将其添加到 WHERE：

AND F.source<S.source

Answer 2

试试这个：

SELECT token, GROUP_CONCAT(source), SUM(count)
FROM TokenFrequency
GROUP BY token;

这应该会运行得更快，并且还可以消除重复。但源将以逗号分隔的列表形式返回，因此您必须在应用程序中展开该列表。

您也可以尝试在列 token, source, count（按此顺序）上创建复合索引，并使用 EXPLAIN 进行分析，以查看 MySQL 是否足够聪明，可以将其用作此查询的 covering index。

---

更新：我似乎误解了你的问题。您不想要每个令牌的计数总和，您想要给定令牌的每对源的计数总和。

我相信内部连接是最好的解决方案。 SQL 的一个重要准则是，如果您需要针对两个不同的行计算一个表达式，那么您需要进行连接。

但是，我上面提到的一种优化技术是使用覆盖索引，以便您需要的所有列都包含在索引数据结构中。好处是您的所有查找都是 O(log n)，并且查询不需要执行第二次 I/O 来读取物理行来获取其他列。

在这种情况下，您应该在列 token, source, count 上创建覆盖索引，正如我上面提到的。还要尽量分配足够的缓存空间，以便索引可以缓存在内存中。

Answer 3

如果令牌没有被索引，它当然应该被索引。