字符串匹配技术答案

【问题标题】：String matching techniques字符串匹配技术
【发布时间】：2013-08-15 21:01:39
【问题描述】：

以下字符串被认为是相等的。我怎样才能匹配这样的东西？

"Hazard Const. Company"
"hazard construction company"

"PETERSON-CHASE GENERAL ENGINEERING CONSTRUCTION INC"
"peterson-chase general  engineering construction inc"

"TRAFFIC DEVELOPMENT SERVICES "
"traffic development services"

我的环境是 ruby，但我只是想知道匹配字符串的一般原则。由于空格问题和缩写，上述示例不适用于基本的“a”=="b"。我可以使用 regex case-ignore 或 downcase 来缓解大小写问题...

【问题讨论】：

你有一套完整的缩写吗？如果你这样做了，你可以扩展所有的缩写并规范化空格和大小写。
不，不知道缩写

标签： ruby regex string string-matching

【解决方案1】：

以下示例比较您的所有字符串并计算 leventhtein 差异（使一个字符串适应另一个字符串所需的击键次数）。

根据定义的最大差异并补偿字符串的长度，然后将字符串作为键值放入哈希中，出现次数为值。

require 'levenshtein'

MAX_DISTANCE, COMPENSATION = 3, 5

strings = [
    "Hazard Const. Company",
    "hazard construction company",
    "PETERSON-CHASE GENERAL ENGINEERING CONSTRUCTION INC",
    "peterson-chase general  engineering construction inc",
    "TRAFFIC DEVELOPMENT SERVICES ",
    "traffic development services"
]

result = {}
strings.each do |s|
    s.downcase!
  similar = result.keys.select { |key| Levenshtein.distance(key, s) < MAX_DISTANCE+(s.length/COMPENSATION) }
  if similar.any?
    result[similar.first] += 1
  else
    result.merge!({s => 1})
  end
end

puts result.inspect
# {"hazard const. company"=>2, "peterson-chase general engineering construction inc"=>2, "traffic development services "=>2}

【讨论】：

谢谢，“Levenshtein”是我要找的词！

【解决方案2】：

字符串#squeeze
字符串#downcase

对于第一个，您必须计算 levenshtein 距离或类似的距离。

【讨论】：

谢谢，“levenshtein”是我要找的词

【解决方案3】：

一个有趣的问题，属于文本挖掘和信息检索的主题。通常，您可以使用词干（词形还原）算法甚至通过更简单的启发式算法来实现描述的匹配。

1.) 后一种情况是处理两个字符串以获取每个字符串的标准化版本，然后进行比较。我们可以用一个空格替换较大的空格，并将两个字符串上的所有字符都小写。字符串规范化示例：

string.gsub(/\s+/, ' ').downcase

这不适用于艰难的缩写。

2.) 如果您使用词干分析器将每个单词标记标准化为通用基本形式，您可以获得更好的结果。词干的几个例子：words=>word，foot=>foot，construction=>construct，... 一旦你得到词库（也称为 lemas），你可以将它们连接成一个字符串。然后做个对比。通常，词干分析器会为您完成小写，因此您可以跳过该步骤。

所以这两个字符串：

"Hazard Const. Company"
"hazard construction company"

转换为：

"hazard construct company"

代码取决于实际使用的词干分析器。比如你可以看看这个：https://github.com/aurelian/ruby-stemmer

词干提取的实际输出也取决于使用的词干分析器。词干分析器 (lemmatizers) 的工作方式不仅是通过某种修剪规则，而且它们还尝试将单词与内部词库 (lemas) 进行匹配。因此，一个好的词形还原器会识别 Const。缩写并将其与构造引理匹配。

由于并非所有缩写都可以识别（例如只有 90%），因此最好不要匹配确切的字符串。但是尝试通过距离计算（如@7stud 建议的那样）计算它们的相似度，并根据测试数据结果调整可接受的相似度阈值。这是信息检索中的常用方法。您可以自定义和专业化您的文本处理的越多，您将获得更好的结果。反之亦然 - 您尝试构建通用处理的次数越多，它就越难，结果也会更糟。

【讨论】：