在 TfidfVectorizer 中如何计算词频？

Question

为了理解这一点，我进行了很多搜索，但我无法做到。我了解默认情况下 TfidfVectorizer 将在词频上应用 l2 归一化。 This文章解释了它的方程式。我在用古吉拉特语写的文本上使用 TfidfVectorizer。以下是有关它的输出的详细信息：

我的两个文件是：

ખુબ વખાણ કરે છે

ખુબ વધારે છે

我使用的代码是：

vectorizer = TfidfVectorizer(tokenizer=tokenize_words, sublinear_tf=True, use_idf=True, smooth_idf=False)

这里，tokenize_words 是我用于标记单词的函数。 我的数据的TF-IDF列表是：

[[ 0.6088451   0.35959372  0.35959372  0.6088451   0.        ]
 [ 0.          0.45329466  0.45329466  0.          0.76749457]]

功能列表：

['કરે', 'ખુબ', 'છે.', 'વખાણ', 'વધારે']

idf的值：

{'વખાણ': 1.6931471805599454, 'છે.': 1.0, 'કરે': 1.6931471805599454, 'વધારે': 1.6931471805599454, 'ખુબ': 1.0}

请在这个例子中解释一下我的两个文档中每个术语的术语频率。

Answer 1

好的，现在让我们一步一步看一下documentation I gave in comments：

文件：

`ખુબ વખાણ કરે છે
 ખુબ વધારે છે`

1. 获取所有唯一术语 (features)：['કરે', 'ખુબ', 'છે.', 'વખાણ', 'વધારે']

2. 计算文档中每个词条的频率：-

   一个。 document1 [ખુબ વખાણ કરે છે] 中存在的每个术语都存在一次，而 વધારે 不存在。`

   b.所以词频向量（按特征排序）：[1 1 1 1 0]

   c。在document2上应用步骤a和b，我们得到[0 1 1 0 1]

   d。所以我们最终的词频向量是[[1 1 1 1 0], [0 1 1 0 1]]

   注意：这是您想要的词频

3. 现在找到 IDF（这是基于特征，而不是基于文档）：

   idf(term) = log(number of documents/number of documents with this term) + 1

   将 1 添加到 idf 值以防止零除法。它由"smooth_idf" 参数控制，默认为True。

   idf('કરે') = log(2/1)+1 = 0.69314.. + 1 = 1.69314..
   
   idf('ખુબ') = log(2/2)+1 = 0 + 1 = 1
   
   idf('છે.') = log(2/2)+1 = 0 + 1 = 1
   
   idf('વખાણ') = log(2/1)+1 = 0.69314.. + 1 = 1.69314..
   
   idf('વધારે') = log(2/1)+1 = 0.69314.. + 1 = 1.69314..
   

   注意：这对应于您显示的数据。

4. 现在计算 TF-IDF（这又是按文档计算，根据特征排序计算）：

   一个。对于文档 1：

    For 'કરે', tf-idf = tf(કરે) x idf(કરે) = 1 x 1.69314 = 1.69314
   
    For 'ખુબ', tf-idf = tf(કરે) x idf(કરે) = 1 x 1 = 1
   
    For 'છે.', tf-idf = tf(કરે) x idf(કરે) = 1 x 1 = 1
   
    For 'વખાણ', tf-idf = tf(કરે) x idf(કરે) = 1 x 1.69314 = 1.69314
   
    For 'વધારે', tf-idf = tf(કરે) x idf(કરે) = 0 x 1.69314 = 0
   

   所以对于document1，最终的tf-idf向量是[1.69314 1 1 1.69314 0]

   b.现在标准化完成（l2 欧几里得）：

   dividor = sqrt(sqr(1.69314)+sqr(1)+sqr(1)+sqr(1.69314)+sqr(0))
            = sqrt(2.8667230596 + 1 + 1 + 2.8667230596 + 0)
            = sqrt(7.7334461192)
            = 2.7809074272977876...
   

   将 tf-idf 数组的每个元素用除数除，我们得到：

   [0.6088445 0.3595948 0.3595948548 0.6088445 0]

   注意：这是您发布的第一个文档的 tfidf。

   c。现在对文档 2 执行相同的步骤 a 和 b，我们得到：

   [ 0. 0.453294 0.453294 0. 0.767494]

更新：关于sublinear_tf = True OR False

您的原始词频向量是[[1 1 1 1 0], [0 1 1 0 1]]，您的理解是正确的，即使用 sublinear_tf = True 会改变词频向量。

new_tf = 1 + log(tf)

现在上面的行只适用于 term-frequecny 中的非零元素。因为对于 0，log(0) 是未定义的。

所有非零条目都是 1。log(1) 是 0 和 1 + log(1) = 1 + 0 = 1`。

您会看到值为 1 的元素的值将保持不变。所以您的 new_tf = [[1 1 1 1 0], [0 1 1 0 1]] = tf(original)。

由于sublinear_tf，您的词频发生了变化，但仍保持不变。

因此，如果您使用 sublinear_tf=True 或 sublinear_tf=False，以下所有计算将相同，输出也相同。

现在，如果您更改术语频率向量包含 1 和 0 以外的元素的文档，您将使用 sublinear_tf 获得差异。

希望您的疑虑现在得到解决。