tf-idf 中的文档和语料库是什么？

Question

tf-idf = 词频 * 逆文档频率

词频定义为文档中词的计数。

逆文档频率定义为文档总数除以包含该词的文档数。

上面的公式可能会有所不同，但这是大局。 现在，假设我有一个包含 100 万个句子列表的数据集：

1) 文档是数据集中的条目吗？

2) 整个数据集是语料库吗？

这个问题在某种程度上与 [1] 相关，但答案并没有帮助我理解真实数据集的概念。

谢谢。

[1]What does "document" mean in a NLP context?

Answer 1

在您的特定情况下，如果句子不相关，请将每个句子称为“文档”。

更详细地说，TF 意味着一个词在当前样本中频繁出现（避免使用“文档”一词）。 DF 表示一个词在每个样本中都是频繁出现的。然后，商 TF/DF 为在整个集合中很少见的术语返回一个高数字 - 表明它们很重要 - 而对于常见的术语返回一个低数字。