如何确定字符相似度？答案

【问题标题】：How to determine character similarity?如何确定字符相似度？
【发布时间】：2012-05-13 02:27:39
【问题描述】：

我在 OCR 之后使用 Levenshtein 距离来查找相似的字符串。但是，对于某些字符串，编辑距离是相同的，尽管视觉外观明显不同。

例如，字符串Co 将返回这些匹配项：

CY (1)
CZ (1)
Ca (1)

考虑到 Co 是 OCR 引擎的结果，Ca 将比那些更可能匹配。因此，在计算完 Levenshtein 距离后，我想通过视觉相似度排序来优化查询结果。为了计算这种相似性，我想使用标准的无衬线字体，比如 Arial。

是否有我可以用于此目的的库，或者我如何自己实现它？或者，是否有任何比 Levenshtein 距离更准确的字符串相似性算法，我可以另外使用？

【问题讨论】：

它可以非常特定于您使用的成像机器和 OCR 程序本身。恕我直言，最好的策略是创建一个训练数据集并根据经验计算这些概率。

标签： algorithm pattern-matching levenshtein-distance similarity

【解决方案1】：

因此，在您的距离函数中，替换不同字符对的成本不同。

也就是说，而不是添加一个或两个设置成本的替换而不考虑所涉及的字符 - 而是有一个 替换成本函数，它返回介于 0.0 和 2.0 之间的替换成本某些上下文中的某些字符。

在记忆的每一步，只要调用这个代价函数：

cost[x][y] = min(
    cost[x-1][y] + 1, // insert
    cost[x][y-1] + 1, // delete,
    cost[x-1][y-1] + cost_to_replace(a[x],b[y]) // replace
);

这是我的完整编辑距离实现，只需将 replace_cost 常量换成 replace_cost 函数，如下所示：

https://codereview.stackexchange.com/questions/10130/edit-distance-between-two-strings

在实现 cost_to_replace 函数方面，您需要一个字符矩阵，其成本取决于字符的相似程度。可能会有这样的表格，或者您可以自己实现它，将每对字符写入一对图像，然后使用标准视觉技术比较图像的相似性。

或者，您可以使用监督方法纠正几个 OCR 误读并记下表格中的发生情况，然后该表格将成为上述成本表。（即如果 OCR 出错，则字符必须相似）。

【讨论】：

【解决方案2】：

总的来说，我看到Damerau-Levenshtein 的使用频率远远超过Levenshtein，它基本上添加了转置操作。它应该占人类拼写错误的 80% 以上，因此您当然应该考虑到这一点。

对于您的具体问题，您可以轻松地修改算法以在用非大写字母替换大写字母时增加成本，反之获得类似的结果：

dist(Co, CY) = 2
dist(Co, CZ) = 2
dist(Co, Ca) = 1

【讨论】：

【解决方案3】：

如果您正在寻找一个可以让您根据视觉相似性计算各种“重置成本”的表格，我一直在寻找这样的东西，但收效甚微，所以我开始研究它作为一个新问题。我没有使用 OCR，但我正在寻找一种方法来限制在概率搜索中对 误输入 字符的搜索参数。由于人类在视觉上混淆了字符，因此它们被打错了，同样的原则应该适用于您。

我的方法是根据 8 位字段中的笔画成分对字母进行分类。这些位是，从左到右：

7: Left Vertical
6: Center Vertical
5: Right Vertical
4: Top Horizontal
3: Middle Horizontal
2: Bottom Horizontal
1: Top-left to bottom-right stroke
0: Bottom-left to top-right stroke

对于小写字符，左边的下降线记在第 1 位，右边下降线记在第 0 位，作为对角线。

通过该方案，我想出了以下值，这些值试图根据视觉相似性对字符进行排名。

m:               11110000: F0
g:               10111101: BD
S,B,G,a,e,s:     10111100: BC
R,p:             10111010: BA
q:               10111001: B9
P:               10111000: B8
Q:               10110110: B6
D,O,o:           10110100: B4
n:               10110000: B0
b,h,d:           10101100: AC
H:               10101000: A8
U,u:             10100100: A4
M,W,w:           10100011: A3
N:               10100010: A2
E:               10011100: 9C
F,f:             10011000: 98
C,c:             10010100: 94
r:               10010000: 90
L:               10000100: 84
K,k:             10000011: 83
T:               01010000: 50
t:               01001000: 48
J,j:             01000100: 44
Y:               01000011: 43
I,l,i:           01000000: 40
Z,z:             00010101: 15
A:               00001011: 0B
y:               00000101: 05
V,v,X,x:         00000011: 03

就目前而言，这对于我的目的来说太原始了，需要更多的工作。但是，您也许可以使用它，或者根据您的目的对其进行调整。该方案相当简单。此排名适用于等宽字体。如果您使用的是 sans-serif 字体，那么您可能需要重新处理这些值。

这个表是一个混合表，包括所有字符，小写和大写，但如果你把它分成只大写和只小写，它可能会更有效，而且还允许应用特定的大小写处罚。

请记住，这是早期的实验。如果您看到改进它的方法（例如通过更改位序列），请随时这样做。

【讨论】：