MySQL：进行向后全文搜索的最佳方法？

Question

我正在尝试进行基本的反向完整测试搜索，但不知道最好的方法。

基本上，我有一个关键短语表，如下所示：
id - 短语
1 - “你好世界”
2 - “再见世界”
3 - “这是我的世界”

然后我有一个设置字符串，例如“欢迎来到 hello world 组”。我想在我的表中找到与短语完全匹配的所有行的 ID。意思是“o the”将不匹配，因为这个词是“to the”。 “hello”也不匹配，因为世界是“hello”。

使用全文搜索，这可以通过搜索以下内容轻松实现：
反对 ('"hello world"' 在布尔模式);

问题是，我不相信我可以使用全文搜索，因为全文搜索会找到包含单个短语的所有行。我想要与单个集合匹配的所有短语（来自一组已知的短语）。

我知道如何使用 RegEx 使用以下方法来执行此操作，但是这会变慢。在有 400,000 个关键短语的表格上，它花费了 40 多秒：

WHERE “我知道我想搜索的数据放在这里” REGEXP CONCAT('[[:<:>phrases, '[[:>:]]')

我需要的是一种更优化的方式来做到这一点。即使我必须暂时将其添加到表中而不实际单独检查每个关键字，我如何才能将其作为全文搜索进行。

我非常感谢您的反馈，因为这确实导致我的网站在添加新数据方面滞后。

Answer 1

如果您愿意考虑从数据库中读取短语并构建用于优化短语检测的单独数据结构的解决方案，则有两种主要技术可以解决该问题。哪一个最适合您取决于多种因素，特别是：

1. 短语列表的更新频率
2. 在运行短语检测之前是否以及如何标记文本
3. 目标字符串有多长

选项 1：短语的哈希表 这意味着您只需将每个短语作为键插入哈希表（又名 dictionary 或 hash map 在许多编程语言中）。短语 id 成为值。更新既快速又容易，但检测给定字符串中的短语可能很困难：首先，您需要对字符串进行标记，并确保短语只出现在标记边界之间。其次，您不仅需要在散列中查找每个标记，还需要查找连续标记的每一对、三重、四重等。如果目标字符串通常很短，这仍然很有效。您还可以在磁盘上维护哈希表的副本，例如使用伯克利数据库。大多数编程语言的标准库中都有现成的模块。

选项 2：搜索树（或者，稍微高级一点，最小化搜索树或有限状态机）。这可以以非常节省空间的方式实现，但通常比哈希表大（尽管 400k 条目根本不会成为问题）。短语检测期间的一大优势是在进行查找之前无需删除标记（或标记边界之间的候选短语）。相反，您在文本中的每个候选起始位置执行最长匹配查找。存储在磁盘上是可能的，尽管在大多数编程语言中不会有用于此的标准库模块。在 trie 中更新非常容易，但在最小化的 trie 或 FST 中可能会变得困难（并且可能很耗时）。

两个选项都允许在磁盘上维护数据结构（或将其副本存储在磁盘上，而实际查找发生在内存中）。但是你不会获得交易安全或容错（我知道你不是在寻找）。

Answer 2

您可以使用搜索引擎。例如索尔。您可以针对文本设置特定的搜索过滤器。 + 仅搜索单词。 + 它会非常快。

或者，第二个想法，您可以创建自己的表来存储所有单词和短语 ID。并仅搜索该表的匹配词。它会更快，因为您可以更好地为单词添加索引，而不是完全添加短语。