【发布时间】:2017-02-23 19:12:09
【问题描述】:
当我在 Wiki 上阅读 tf–idf 时,我对“文档”一词的含义感到困惑。是段落的意思吗?
“逆文档频率是衡量一个词提供多少信息的量度,即该词在所有文档中是常见的还是稀有的。它是包含该词的文档的对数比例的反比例,由下式获得将文档总数除以包含该术语的文档数,然后取该商的对数。”
【问题讨论】:
标签: text nlp text-mining tf-idf data-science
当我在 Wiki 上阅读 tf–idf 时,我对“文档”一词的含义感到困惑。是段落的意思吗?
“逆文档频率是衡量一个词提供多少信息的量度,即该词在所有文档中是常见的还是稀有的。它是包含该词的文档的对数比例的反比例,由下式获得将文档总数除以包含该术语的文档数,然后取该商的对数。”
【问题讨论】:
标签: text nlp text-mining tf-idf data-science
tf-idf 上下文中的Document 通常可以被认为是bag of words。在vector space model 中,每个单词都是非常高维空间中的一个维度,其中单词向量的大小是文档中单词(术语)的出现次数。 Document-Term 矩阵表示一个矩阵,其中行表示文档,列表示术语,矩阵中的每个单元格表示文档中单词的 # 次出现。希望清楚。
【讨论】:
“文档”是不同的文本。这通常意味着每篇文章、每本书等都是它自己的文档。
如果您愿意,您可以将单个段落甚至句子视为“文档”。这完全是一个观点问题。
【讨论】: