如何在 MySQL/MariaDB 中加入两个巨大的表？

Question

我有两个表 kw 有 250000 条记录，t_n 有 100000 条记录。
我加入了两个表以在以下查询中获得集体结果：

SELECT kw.id AS kw_id,
       kw.word AS kw_word,
       t_n.translation AS t_n_translation
FROM kw, t_n 
WHERE kw.id = t_n.keyword_id
  AND kw.word LIKE '1%' 
GROUP BY t_n.translation 
LIMIT 10

我还尝试了以下简单连接作为上述查询的替代方法：

SELECT kw.id AS kw_id,
       kw.word AS kw_word,
       t_n.translation AS t_n_translation
FROM kw 
INNER JOIN t_n
    ON kw.id = t_n.keyword_id
   AND kw.word LIKE '1%' 
GROUP BY t_n.translation 
LIMIT 10

但是这两个查询都需要大约 60 到 150 秒，具体取决于内存和处理的系统资源。 这种执行超时对于扩展数据库和增加多个用户来说是难以忍受的。
有没有什么有效的方法可以连接两个巨大的表？

更新
此查询用于 JQuery UI 自动完成。我使用 GROUP BY 子句来获取不同的值。是否有任何其他合适的解决方案来获得不同的值。

表格结构

--
-- Table structure for table `kw`
--

CREATE TABLE `kw` (
  `id` int(32) NOT NULL,
  `word` varchar(100) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL,
  `pos` varchar(12) NOT NULL,
  `definition` text NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

-- --------------------------------------------------------

--
-- Table structure for table `t_n`
--

CREATE TABLE `t_n` (
  `id` int(16) NOT NULL,
  `keyword_id` int(16) NOT NULL,
  `translation` varchar(64) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL,
  `created_on` datetime NOT NULL,
  `user_id` varchar(64) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

--
-- Indexes for dumped tables
--

--
-- Indexes for table `kw`
--
ALTER TABLE `kw`
  ADD PRIMARY KEY (`id`);

--
-- Indexes for table `t_n`
--
ALTER TABLE `t_n`
  ADD PRIMARY KEY (`id`);

--
-- AUTO_INCREMENT for dumped tables
--

--
-- AUTO_INCREMENT for table `kw`
--
ALTER TABLE `kw`
  MODIFY `id` int(32) NOT NULL AUTO_INCREMENT;

--
-- AUTO_INCREMENT for table `t_n`
--
ALTER TABLE `t_n`
  MODIFY `id` int(16) NOT NULL AUTO_INCREMENT;
COMMIT;

Answer 1

我猜你想要：

SELECT kw.id as kw_id, kw.word as kw_word, t_n.translation as t_n_translation
FROM kw INNER JOIN
     t_n
     ON kw.id = t_n.keyword_id AND kw.word LIKE '1%' ;

对于此查询，您需要在 kw(word, id) 和 t_n(keyword_id) 上建立索引：

create index idx_kw_word_id on kw(word, id);
create index idx_t_n_keyword_id on t_n(keyword_id);

Answer 2

正确的做法是用JOIN ON表示表是如何关联的，用WHERE表示过滤：

SELECT kw.id AS kw_id,
       kw.word AS kw_word,
       t_n.translation AS t_n_translation
FROM kw 
INNER JOIN t_n
    ON kw.id = t_n.keyword_id
WHERE kw.word LIKE '1%' 
ORDER BY t_n.translation 
LIMIT 10

尚不清楚GROUP BY 是否必要或正确。请解释它的目的，并告诉我们没有它会发生什么。没有ORDER BY 的LIMIT 很少有意义。也许您的意思是ORDER BY 而不是 GROUP BY？ （所以我做了那个改变。）

假设您没有任何 TEXT 列，这些索引应该会有所帮助：

kw:   INDEX(word, id)
t_n:  INDEX(keyword_id, translation)

这些索引是“复合的”，但不是很相关，并且是“覆盖”的，可以提高性能。

如果我能看到SHOW CREATE TABLE，可能还有进一步的改进，比如修改PRIMARY KEY。

更多

int(32) -- (32) 没有任何意义。 INT 始终是一个 32 位（4 字节）的数字； SMALLINT 是一个 16 位（2 字节）的数字。

似乎keyword_id 在t_n 中是独一无二的。如果是这样，请将其设为PRIMARY KEY，如果是id，则完全删除。

到那时，这两个表似乎可以合并为一个？有很多不同的词，每个词都有一个翻译？但也许不是，因为我看到两张桌子的大小不同。请解释架构。

Answer 3

我可以建议下一个解决方案：

1. 添加索引：

   CREATE INDEX keyword_id_ix on t_n(keyword_id);

2. 使用LIKE过滤大表：

   SELECT * FROM kw WHERE  kw.word LIKE '1%'

3. 使用JOIN 将结果与第二个表合并：

   SELECT
       kw.id as kw_id, kw.word as kw_word, t_n.translation as t_n_translation
   FROM (
       SELECT * FROM kw WHERE  kw.word LIKE '1%'
   ) kw 
   INNER JOIN t_n ON kw.id = t_n.keyword_id;
   
   

SQL 小提琴here