如何标准化 scikit-learn 中的 TF*IDF 或计数？答案

【问题标题】：How to normalize TF*IDF or counts in scikit-learn?如何标准化 scikit-learn 中的 TF*IDF 或计数？
【发布时间】：2019-11-14 23:24:08
【问题描述】：

我想检查两个具有不同长度的文档的余弦相似度（比如说一个是一个或两个行，而另一个是 100-200 行）。

为此，我需要一种方法来规范化 tfidf 或在 scikit-learn 中计数矢量化器。

【问题讨论】：

【解决方案1】：

TfidfVectorizer 具有处理此问题的属性norm（请参阅the docs）。例如，尝试这样的事情：

vectorizer = TfidfVectorizer(analyzer='word', stop_words='english', norm='l2')

这将规范化向量以解决文档长度的差异。

【讨论】：