如何在大数据中进行模糊搜索

Question

我是该领域的新手，我主要想知道最先进的技术是什么以及我可以在哪里阅读有关它的信息。

假设我只有一个键/值存储，并且以某种方式定义了一些距离(key1,key2)（不确定它是否必须是一个度量，即三角不等式是否必须始终保持）。

我想要的主要是一个 search(key) 函数，它返回所有带有键的项目到搜索键一定距离。也许距离限制是可配置的。也许这也只是一个惰性迭代器。也许也可以有一个计数限制，并且一个项目（键，值）在返回的集合中具有一定的概率 P，其中 P = 1/距离（键，搜索键）左右（即，完美匹配肯定是在集合和接近匹配中至少有很高的概率）。

---

一个示例应用程序是MusicBrainz 中的指纹匹配。他们使用AcoustId 指纹并定义了this compare function。他们使用 PostgreSQL GIN 索引，我猜（虽然我还没有完全理解/阅读 acoustid-server 代码）GIN Partial Match Algorithm，但我还没有完全理解这是否是我所要求的以及它是如何工作的。

---

对于文本，我目前发现的是使用一些phonetic algorithm 来根据单词的发音来简化单词。一个例子是here。这主要是将搜索空间分解为更小的空间。但是，这有几个限制，例如在更小的空间里它仍然是一个完美的匹配。

但无论如何，我也在寻找更通用的解决方案，如果存在的话。

Answer 1

没有（快速）通用解决方案，每个应用程序都需要不同的方法。

这两个示例实际上都没有进行传统的最近邻搜索。 AcoustID（我是作者）只是在寻找精确匹配，但它会搜索大量哈希值，希望其中一些匹配。拼音搜索示例使用变音位将单词转换为其拼音表示，并且只查找完全匹配。

您会发现，如果您有大量数据，则使用巨大的哈希表进行精确搜索是您唯一可以实际做的事情。那么问题就变成了如何将模糊匹配转换为精确搜索。

一种常见的方法是将locality-sensitive hashing (LSH) 与智能哈希方法一起使用，但正如您在两个示例中所见，有时您可以使用更简单的方法。

顺便说一句，您正在寻找专门的文本搜索，最简单的方法是将您的输入拆分为N-grams 并将其编入索引。根据您的距离函数的定义方式，这可能会为您提供正确的候选匹配，而无需太多工作。

Answer 2

我建议你看看 FLANN Fast Approximate Nearest Neighbors。大数据中的模糊搜索也称为近似最近邻。

该库为您提供不同的度量，例如 Euclidian、Hamming 和不同的聚类方法：例如 LSH 或 k-means。

搜索始终分为两个阶段。首先，您向系统提供数据以训练算法，这可能会很耗时，具体取决于您的数据。 我在不到一分钟的时间内成功地聚集了 1300 万个数据（使用 LSH）。

然后是搜索阶段，非常快。您可以指定最大距离和/或最大邻居数。

正如 Lukas 所说，没有好的通用解决方案，每个域都会有自己的技巧来提高速度或找到更好的方法来利用您使用的数据的内部属性。

Shazam 使用一种特殊的几何投影技术来快速找到您的歌曲。在计算机视觉中我们经常使用 BOW：Bag of words，最初出现在文本检索中。

如果您可以将数据视为图形，则还有其他方法可以使用谱图理论进行近似匹配。

让我们知道。

Answer 3

取决于您的键/值是什么样的，Levenshtein 算法（也称为 Edit-Distance）可以提供帮助。它计算修改一个字符串以获得另一个字符串所需的最少编辑操作数。

• http://en.wikipedia.org/wiki/Levenshtein_distance
• http://www.levenshtein.net/