创建包含相似文本的文本集群

Question

最近我研究了图像聚类，它找到了相似的图像并将它们组合在一起。我使用 python 的skimage 模块来计算 SSIM，然后根据确定的某个阈值对所有图像进行聚类。

我想对文本做类似的事情。我想创建包含类似文本的自动集群。例如，cluster-1 可以包含所有代表工作母亲的文本，cluster-2 可以包含所有代表人们谈论食物的文本等等。我知道这必须是无监督学习。我们是否有类似的 python 模块可以帮助完成这项任务？我还检查了 google 的 tensorflow，看看我是否可以从中获得一些东西，但在其文档中没有找到任何与文本聚类相关的内容。

Answer 1

您可以通过多种方式来完成这项任务。在大多数情况下，聚类算法与图像聚类非常相似，但您需要定义的是距离度量 - 在本例中为 semantic similarity 某种度量。

为此，您可以使用我在另一个question around the topic of semantic similarity 中列出的方法（即使更详细一点）。

另外一种值得一提的方法是topical modelling 提供的“自动集群”工具，例如LSA，您可以使用gensim 包运行fairly easy。