在 C# 中匹配两个大字符串集

Question

情况如下：

我有一个网页，我已将其作为字符串抓取。

我在 MSSQL 数据库中有几个字段。例如，汽车型号，它有一个 ID 和一个名称，例如 Mustang 或 Civic。它预装了大多数车型。

我想为我的模型表中的任何行找到任何匹配项。因此，如果我的模型表中有 Civic、Mustang 和 E350，我想在我抓取的页面上找到这三个中的任何一个。

在 C# 中执行此操作的有效方法是什么。我正在使用 LINQ to SQL 与数据库交互。

创建所有模型的字典、标记页面并遍历标记是否有意义？还是应该只遍历标记并使用 WHERE 子句并询问数据库是否匹配？

    //Dictionary dic contains all models from the DB, with the name being the key and the id being the value...
    foreach(string pageToken in pageTokens)
    {
         if(dic.ContainsKey(pageToken)) 
         {
              //Do what I need to do
         }
    }

这两种方法对我来说似乎都很糟糕。关于我应该做什么的任何建议？我想有固定交叉点的东西可能会很好？

这些方法都没有解决当模型名称超过一个单词时会发生的情况......比如“F150 Extended Cab”。对此有什么想法？

Answer 1

在较大的文本中搜索多个字符串是一个众所周知的问题，并且已经进行了重要的研究以使其更快。两种最流行和最有效的方法是Aho-Corasick Algorithm（我推荐这个）和Rabin-Karp Algorithm。他们使用了一些预处理，但比 naieve 方法复杂且速度快几个数量级（naieve 方法是最坏情况 O(m*n^2*p) 其中 m 是长字符串的长度 [你的网页刮]，n 是针的平均长度，p 是针的数量）。 Aho-Corsaik 是线性的。 A C# implementation of it can be found at CodeProject for free.

编辑：糟糕，我对 Aho-Corasick 的复杂性有误——它与输入字符串的数量和长度 + 正在分析的字符串的大小 [被抓取的文本] 加上匹配的数量成线性关系。但它仍然是线性的，而且线性比三次要好得多:-)。

Answer 2

我的第一种方法非常简单：

foreach(string carModel in listOfCarModelsFromDatabase) {
    if(pageText.Contains(carModel) {
        // do something
    }
}

如果上面的速度不够快，我只会开始担心让它更快。汽车型号列表不可能那么大（

Answer 3

您应该使用正则表达式，而不是基于空间的标记。

使用正则表达式，您可以使用空格并且很好，我相信它会比标记和循环遍历可能的值列表更快。

虽然我不确定，但您是如何构建该正则表达式的。

最简单的是，您可以简单地为每个模型构建一个正则表达式，例如

(Model 1|Model 2|Model 3) 

但我确信在正则表达式中有更有效的方法来做到这一点。

Answer 4

对于进行子字符串匹配的非常简单的解决方案（应该执行得相当好），您可以使用这样的参数化 SQL 查询：

select ModelID, ModelName
from Model
where ? like '%' + ModelName + '%'

? 是一个被整个网页文本替换的参数。