大量列表中的相似名称

Question

我有 50 000 多家公司的数据库，不断更新（每月 200 多家）。

重复内容是个大问题，因为名称并不总是严格/正确：
“超级1店”
“超级一店”
“超级一店”

编辑：另一个示例 .. 可能需要不同的方法：
“艾米的披萨”“艾米公司的有机披萨”

我们需要工具来扫描类似名称的数据。 我对Levenshtein Distance 和LCS 有一些经验，但是它们很适合比较两个字符串是否相似...
在这里，我必须扫描 50 000 个可能是一个个的名字并在那里计算...总体相似度...

我需要建议如何解决这个问题，预期的结果是有一个包含 10-20 组非常相似的名称的列表，并且可能会进一步调整灵敏度以获得更多结果。

Answer 1

大约一年前我遇到过类似的问题，如果我没记错的话，我使用 similar_text 和 soundex 解决了（或多或少），正如其他人在 cmets 中所说的那样。像这样的：

<?php

$str1 = "Store 1 for you";
$str2 = "Store One 4 You";

similar_text(soundex($str1), soundex($str2), $percent);

if ($percent >= 66){
    echo "Equal";
    //Send an email for review
}else{
    echo "Different";
    //Proceed to insert in database
}
?>

在我的情况下，使用 66% 的百分比来确定公司是否相同（在这种情况下，不要插入数据库，而是发送电子邮件给我进行审查，并检查是否正确）。

在使用此解决方案几个月后，我决定为公司使用某种唯一代码（在我的情况下为 CIF，因为在西班牙这里的公司是唯一的）。

Answer 2

这完全取决于我们应该容忍多少认为 2 个字符串是相似的。soundex 也很有用

select soundex('Super One Store') returns S165236
    select soundex('Super 1 Store'); returns S16236
    select soundex('Super One Stores') returns S1652362

S16236 在所有情况下都很常见，您可以使用如下过滤器

select * from (
select 'Super One Store' as c 
union
select 'Super 1 Store' as c
union
select 'Super One Stores' as c
union
select  'different one' as c
union 
select  'supers stores' as c
) tmp
where soundex(c) like CONCAT('%', soundex('Super store'), '%')
or soundex(c) like CONCAT('%', soundex('Super one store'), '%')

Answer 3

我认为您应该手动浏览该公司列表，并为每个公司创建一个包含唯一条目的表。然后有一个多对一的表，您可以在其中将不同的名称引用到正确的公司。我想这就是规范化的意思。

表：companies：

|id|base_name
|1 |Super 1 Store

表：company_mapping：

|id|company_id|name
|1 |1         |Super 1 Store
|2 |1         |Super One Store
|3 |1         |Super 1 Stores