【问题标题】:Why are TF-IDF vocabulary words represented as axes/dimensions?为什么 TF-IDF 词汇单词表示为轴/维度?
【发布时间】:2017-07-27 10:17:41
【问题描述】:

我想要一种直观的方式来理解为什么 TF-IDF 词汇表中的每个单词都表示为单独的维度。

为什么我不能将所有单词的 TF-IDF 值加在一起,然后将其用作文档的表示形式?

我对我们为什么这样做有一个基本的了解。
苹果 =/= 橙子
但显然我不够了解说服别人!

【问题讨论】:

    标签: nlp tf-idf


    【解决方案1】:

    最终,所有 NLP 都是任意的。如果您想将短语/句子/文档中所有单词的 tf-idf 值相加,并发现结果数字对您尝试执行的某些任务有用,您可以随意这样做。但这个数字对于大多数标准 NLP 任务(例如搜索、摘要、情感分析等)可能不是很有用。很难用单个数字表示短语/句子/文档的含义。

    通过将短语/句子/文档表示为一个向量,词汇表中的每个单词都有一个单独的行,您可以利用向量/矩阵代数来表示您在解决 NLP 问题时可能想要执行的一些标准操作。例如,您可以计算代表 2 个文档的向量之间的余弦相似度,并使用它来判断这 2 个文档的相似程度。

    您可能感兴趣的其他内容:有一个名为 word2vec 的 NLP 概念,它可以让您将每个单词表示为不同的数字向量,然后让您添加/减去它们以发现它们之间的语义关系。

    例如,它可能会说

    king - man + woman ≈ queen
    

    您可以在https://blog.acolyer.org/2016/04/21/the-amazing-power-of-word-vectors/阅读更多相关信息

    【讨论】:

      猜你喜欢
      • 2021-08-19
      • 2018-08-05
      • 2018-01-30
      • 2018-03-21
      • 2019-03-09
      • 1970-01-01
      • 2019-06-12
      • 2021-01-24
      • 2023-02-07
      相关资源
      最近更新 更多