带有字符串的列表的聚类列表

Question

所以我的数据集目前如下所示：

['microsoft','bizspark'],
['microsoft'],
['microsoft', 'skype'],
['amazon', 's3'],
['amazon', 'zappos'],
['amazon'],

.... 等等。

现在我想做的是将这些相互关联起来，使用 Levenstein 距离来计算单词分数。

现在我将遍历所有列表并将距离与以下列表进行比较。

microsoft -> ['microsoft','bizspark'], ['microsoft'], ['microsoft', 'skype'],
amazon -> ['amazon', 's3'], ['amazon', 'zappos'], ['amazon'], ....

问题是如何做到这一点？我应该逐字计算每个列文斯坦距离，即['amazon'，'zappos']和['microsoft'，'bizspark']，我首先会得到对：（amazon，microsoft），（amazon，bizspark ), (zappos, microsoft, (zappos, bizspark) 并计算每对的距离。

或者我真的应该从这些字符串中创建字符串然后计算距离吗？

然后我应该得到一个带有距离的 NXN 矩阵：

                            ['microsoft','bizspark'] | ['amazon', 'zappos'] ....
    ['microsoft','bizspark']           1             |          ?
    _-------------------------------------------------------------------------
    ['amazon', 'zappos']               ?             |          1
            ...
            ....

那么我该如何应用聚类来确定截止阈值？

讨论了一个使用单个单词的建议here

但我不知道如何处理单词列表！？

请注意，关于实现，我使用 Python 库，例如 Numpy、Scipy、Pandas 并根据需要使用。

Answer 1

也许“频繁项集挖掘”比聚类更适合您。

它会找到频繁的单词组合，这样每个文档都可能是多个模式的一部分。

Answer 2

您的匹配对象可能主要取决于您的目标是什么。如果你想匹配任何一个词，你可能应该分别匹配这两个词。如果你想匹配短语，那么 ' '.join()' 可能是个好主意。

顺便说一句，我最近使用 difflib.get_close_matches() 做了一些模糊匹配。它在 Python 标准库中。对于您可能使用的任何 Levenstein 距离库，我没有任何反对意见；我只是想指出这个选项对我有用。