自然语言处理——基础知识

目录

• 基础知识
• 1. 文本向量的表示
• 2. 词向量的表示

基础知识

1. 文本向量的表示

• one-hot编码表示（向量长度=词典大小）

  Boolean Representation:未出现记为0,出现记为1.

  Count-based Representation:未出现记为0，出现记出现的次数.

  举例：
  

• TF-IDF表示

  • $TFIDF\left( w \right) =TF\left( d,w \right) *IDF\left( w \right)$TFIDF(w)=TF(d,w)∗IDF(w)
    $TF词频\left( TermFrequency \right) ，IDF逆向文件频率\left( InverseDocumentFrequency \right)$TF词频(TermFrequency)，IDF逆向文件频率(InverseDocumentFrequency)
    $TF\left( d,w \right) =\frac{count\left( w \right)}{count\left( d \right)},\text{文档}d\text{中}w\text{的词频}$TF(d,w)=count(d)count(w)​,文档d中w的词频
    $IDF\left( w \right) =\log \frac{N}{N\left( w \right)},N\text{表示文档总数，}N\left( w \right) \text{表示包含}w\text{的文档数目}$IDF(w)=logN(w)N​,N表示文档总数，N(w)表示包含w的文档数目

  • 假设理论： 对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合的其他文档中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力，TFIDF法认为一个单词出现的文本频数越小，它区别不同类别文本的能力就越大。

  • 举例：

2. 词向量的表示

一段话会具有许多分词，故词向量使用one-hot编码会出现每行只有一位为1，其余均为0的现象，这是向量表示中的稀疏性问题。

目前大部分使用分布式表示（distributed representation）,用于表示单词，也叫词向量（word vectors）.若用词向量表示分词，可将其转换至二位坐标中，肉眼查看分词的效果，是否意义接近的分词会被分到一起.