Perl 中的 N-Gram、tf-idf 和余弦相似度答案

【问题标题】：N-Gram, tf-idf and Cosine similarity in PerlPerl 中的 N-Gram、tf-idf 和余弦相似度
【发布时间】：2011-06-28 02:18:42
【问题描述】：

我正在尝试在每行的多个单词中进行一些模式“挖掘”。我已经使用 perl 中的 Text::Ngrams 模块完成了 N-gram 分析，它给出了每个单词的频率。然而，我对本文中的发现模式感到非常困惑。

我认为 tf-idf 也发现了频率，但这与我所做的 Ngram 分析有何不同，相似性测量也有什么帮助。

请问是否有任何 perl 模块或 sn-ps 代码可以让我理解其中的一些概念。

请我有物理背景，但必须做一些模式识别，所以我对其中一些有点陌生，我们将不胜感激。

【问题讨论】：

【解决方案1】：

假设你有一堆 N 个文档，而你：

想了解文档 X（包含一篇关于如何成为健美运动员的文章）是否与另一个文档 Y 相似，但其内容您不知道。如果文档 Y 与文档 X“相似”，则它可能包含与健美相关的常用术语 - 例如：举重、杠铃、哑铃，也许还有阿诺德。

所以，文档 X 和文档 Y 的相似度会很高。衡量这种相似性的一种方法是使用这两个文档之间的余弦角。

对 Perl 模块使用 CPAN to search。例如，要计算余弦相似度，您可以尝试 Text::Document 模块

【讨论】：