1. 词向量
word2vec做词向量表示，原理如下：
特点：考虑词与词之间的相似性
one-hot类型的词向量表示的不合理之处在于，没有考虑词汇之间的相似性。比如，hotel和motel分别表示为(1,0,0)、(0,1,0)，二者的内积为0，正交关系，相似性为0，但是这两个词是近义词。
word2vec考虑了词汇之间的相似性，即给定中心词汇(center word)向量的前提下，计算上下文词汇(contex words)向量出现的概率。
目标函数是，使得中心词汇与上下文词汇间的概率最大。句子中的每个词(假设有n个词)分别做中心词汇，分别计算概率，再做平均即可。当然，通常需要把目标函数log化和损失化。
词汇间的相似性，用向量的内积表示；
概率，用softmax的形式表示；
计算公式如下图:
未完待续。。。