嵌套聚类 数据表的嵌套聚类 多类聚类

Question

如何在数据集中应用具有相似名称（如 McDonald 和 Mc DOnald's）的字符串聚类，如果字符串相同（如 sam 和其他还有 sam），那么如何再次基于价值或价格进行聚类 例如- 考虑一个包含 10 个元素的数据表

name           price
ram               200
shyam             150
ram12              59
gita               45
ram 2                45 
g11ita                23
john2                32
john                 7
jonh21               8
jonh                 38
ram22                3

那么分组应该是

ram                    200

ram12                  59
ram  2                 45

ram22                   3

john2                    32
jonh                     37

john                    7
john21                   8

gita                 45
g11ita               23      

我已经使用了fuzzywuzzy和Levenheneitein距离的字符串聚类，但它只能聚类字符串而不能聚类价格 如何对第一个字符串进行聚类，如果相同则聚类价格

Answer 1

您需要仔细平衡文本相似度和数值相似度的阈值。不会有一个简单的解决方案，除非您拥有非常庞大的数据，否则手动方法可能是最好的。

短字符串的文本相似性非常不可靠。

例如：“dog”和“fog”只有一个字母不同，但不太可能是拼写错误。他们有 Levenshtein 距离 1，最小的非零值！正因为如此，如果您依赖 Levenshtein，您将遇到大量误报 - 如果您手动验证它们可以，但不能用于自动处理。

因此，您至少需要使用了解 (a) 现有单词、不太可能拼写错误的单词、(b) 常见拼写错误和 (c) 语音相似度的信息来估计单词拼写错误的可能性，( d) 键盘相似度，一个单词打错的可能性有多大...