从索引表中高效查询

Question

我有一个 MySQL 表，其中 1000 条帖子的索引如下

第一列包含关键字，第二列包含出现次数，在第三列中有一个数组，其中每个索引包含一个长度为 3 的数组，其中第一个索引表示帖子的 id，第二个索引表示出现次数在该帖子中，第三个索引包含一个行号数组，其中可以找到关键字。

现在我想创建一个搜索引擎，用户可以在其中根据关键字搜索帖子。最基本的解决方案是从 mysql 查询中获取每个关键字的所有结果，然后使用 javascript 查找所有常见的帖子 ID（就像我使用 Node 一样）。

我知道一定有办法提高效率。我想使用 MongoDB，但我不确定它是否会起作用。 而且我也不能使用弹性搜索。

Answer 1

为了规范化，您可能需要至少两个表。

一个仅用于保存关键字（以及轻松快速地引用的keyword_id 值）。

“索引”的第二个表，保存 (keyword_id, post_id, line_number)。当对该索引表的简单“计数”查询可以产生相同的结果而无需与字符串数据保持同步时，保存计数的字段的存在就变得有点多余了。

然后要查找包含您的关键字的帖子，您只需执行如下查询：

SELECT i.post_id, COUNT(DISTINCT i.keyword_id) AS keywordsUsed 
FROM keywords AS k
INNER JOIN keywords_index AS i ON k.keyword_id = i.keyword_id
WHERE k.keyword IN ( 'your', 'list', 'of', 'keywords')
GROUP BY i.post_id
ORDER BY keywordsUsed DESC
;

或者这个

SELECT post_id, COUNT(DISTINCT keyword_id) AS keywordsUsed 
FROM keywords_index 
WHERE keyword_id IN (
   SELECT keyword_id 
   FROM keywords 
   WHERE keyword IN ( 'your', 'list', 'of', 'keywords')
)
GROUP BY post_id
ORDER BY keywordsUsed DESC
;

另一件值得牢记的事情是，虽然这张表感觉更大（更多行），但它可能会占用更少的实际空间（因此访问速度更快）：

字符串[[113, 1, [822]], [199, 1, [11592]],[267, 1, [5293 至少为 50 个字节（假设为单字节字符集），不包括字符串本身的长度说明符。即使删除计数值和相关的逗号和空格，也只会将数据减少 9 个字节。

113, 822 199, 11592 267, 5293 是 24 字节，假设 INT 用于 id 值。

Answer 2

选择查询应该是这样的：

Select {third column name} from {table name} where {first column name} like %?%

所以如果你传入agree，你应该得到[[2,1,[673], [7,3,[303, 2863, 2866],[9,2,[...]]

这应该返回你应该能够map() over的数组

如果你想要第一个索引...

{array}.map((subArray) => subArray[0]); //returns an array of the first index

这将返回[2,7,9]

如果您尝试获取第三个索引并将它们组合起来，您应该能够执行 foreach() 和 concat()

let sample = [];
{array}.forEach((subArray) => { sample = sample.concat(subArray);});

这将返回 `[673, 303, 2863, 2866, ...]