【发布时间】:2017-07-27 10:17:41
【问题描述】:
我想要一种直观的方式来理解为什么 TF-IDF 词汇表中的每个单词都表示为单独的维度。
为什么我不能将所有单词的 TF-IDF 值加在一起,然后将其用作文档的表示形式?
我对我们为什么这样做有一个基本的了解。
苹果 =/= 橙子。
但显然我不够了解说服别人!
【问题讨论】:
我想要一种直观的方式来理解为什么 TF-IDF 词汇表中的每个单词都表示为单独的维度。
为什么我不能将所有单词的 TF-IDF 值加在一起,然后将其用作文档的表示形式?
我对我们为什么这样做有一个基本的了解。
苹果 =/= 橙子。
但显然我不够了解说服别人!
【问题讨论】:
最终,所有 NLP 都是任意的。如果您想将短语/句子/文档中所有单词的 tf-idf 值相加,并发现结果数字对您尝试执行的某些任务有用,您可以随意这样做。但这个数字对于大多数标准 NLP 任务(例如搜索、摘要、情感分析等)可能不是很有用。很难用单个数字表示短语/句子/文档的含义。
通过将短语/句子/文档表示为一个向量,词汇表中的每个单词都有一个单独的行,您可以利用向量/矩阵代数来表示您在解决 NLP 问题时可能想要执行的一些标准操作。例如,您可以计算代表 2 个文档的向量之间的余弦相似度,并使用它来判断这 2 个文档的相似程度。
您可能感兴趣的其他内容:有一个名为 word2vec 的 NLP 概念,它可以让您将每个单词表示为不同的数字向量,然后让您添加/减去它们以发现它们之间的语义关系。
例如,它可能会说
king - man + woman ≈ queen
您可以在https://blog.acolyer.org/2016/04/21/the-amazing-power-of-word-vectors/阅读更多相关信息
【讨论】: