【问题标题】:What does "document" mean in a NLP context?在 NLP 上下文中,“文档”是什么意思?
【发布时间】:2017-02-23 19:12:09
【问题描述】:

当我在 Wiki 上阅读 tf–idf 时,我对“文档”一词的含义感到困惑。是段落的意思吗?

“逆文档频率是衡量一个词提供多少信息的量度,即该词在所有文档中是常见的还是稀有的。它是包含该词的文档的对数比例的反比例,由下式获得将文档总数除以包含该术语的文档数,然后取该商的对数。”

【问题讨论】:

    标签: text nlp text-mining tf-idf data-science


    【解决方案1】:

    tf-idf 上下文中的Document 通常可以被认为是bag of words。在vector space model 中,每个单词都是非常高维空间中的一个维度,其中单词向量的大小是文档中单词(术语)的出现次数。 Document-Term 矩阵表示一个矩阵,其中行表示文档,列表示术语,矩阵中的每个单元格表示文档中单词的 # 次出现。希望清楚。

    【讨论】:

      【解决方案2】:

      “文档”是不同的文本。这通常意味着每篇文章、每本书等都是它自己的文档。

      如果您愿意,您可以将单个段落甚至句子视为“文档”。这完全是一个观点问题。

      【讨论】:

        猜你喜欢
        • 2014-02-23
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2011-06-11
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多