简版Word2vec的理解

一. 预备知识

1.1 哈夫曼树 （最优二叉树）

哈夫曼树 ：带权路径长度之和（WPL）最小的二叉树 。
WPL唯一，但哈夫曼树不唯一，左右子树可以交换。

权值越大的节点离根节点越近。
词频越大的词离根节点越近。
构造过程中，每两个节点都要进行一次合并。
因此，若叶子节点的个数为n,则构造的哈夫曼树中新增节点的个数为n-1。

哈夫曼编码：即满足前缀编码的条件，又能保证报文编码总长最短。
前缀编码：要求一个字符的编码不能是另一个字符编码的前缀。
约定：权值大的节点作为左孩子编码为1，权值小的节点作为右孩子编码为0。

1.2 词向量

两种表示方式
One hot representation：词向量维度大小为整个词汇表的大小，对于每个具体的词汇表中的词，将对应的位置置为1。
Dristributed representation：通过训练，将每个词都映射成一个固定长度的短向量。

二. 神经概率语言模型

输入层：2c个上下文词向量
投影层： 将2c个词向量拼接起来
隐藏层：有
输出层： y 维度为词汇表长度， 经过softmax 就得到每个单词的概率

待学参数：
词向量 一般的DNN输入是已知的但是词向量作为输入也需要通过训练得到
神经网络参数：权值矩阵，阈值向量

三. 基于Hierarchical Softmax的word2vec

3.1 word2vec 模型：

word2vec 有两个模型
CBOW （Continuous Bag-of-Words）
Skip-gram
模型包括三层：输入，投影，输出
前者：已知当前词wt$w_t$的上下文wt−2,wt−1,wt+1,wt+2$w_{t-2},w_{t-1},w_{t+1},w_{t+2}$的前提下预测当前词wt$w_t$。
后者：相反

CBOW 目标函数 对数似然函数最大化

L=∑w∈Clogp(w|Context(w))$$L=\sum _{w\in C}logp(w|Context(w))$$

Skip-gram 目标函数

L=∑w∈Clogp(Context(w)|w)$$L=\sum _{w\in C}logp(Context(w)|w)$$

C$C$表示语料库

3.2 基于Hierarchical Softmax的CBOW模型

输入层： 2c个词向量
投影层： 将2c个向量求和累加
隐藏层：无
输出层：一棵哈夫曼树，以语料库中出现的词当叶子节点，以个词频当权值构造出来的哈夫曼树。

条件概率就可以通过路径累乘得到
从根到叶子节点对应着一条路径这个路径是唯一的，路径上的分支（每一个内部节点图中的黄色节点）就看作一次二分类，每一次分类就产生一个概率（用LR模型）。将概率乘起来就是所需的条件概率。
待求参数：每一内部节点就是一个LR，LR的参数θ$\theta$

σ(xTwθ)=11+e−xTwθ$$\sigma (x_w^T\theta )=\frac{1}{1+e^{-x_w^T\theta }}$$

词向量也是要学的 xw$x_w$也是参数
似然函数最大化 ，梯度上升 得到更新公式。

∂L∂θ$$\frac{\mathrm{\partial }L}{\mathrm{\partial }\theta }$$

∂L∂xw$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{x}_w}$$

最终的目标是要求词典中每个词的词向量。xw$x_w$表示：context(w)$context(w)$中各词词向量的累加，
利用∂L∂xw$\frac{\mathrm{\partial }L}{\mathrm{\partial }{x}_w}$来对上下文词向量更新
CBOW 每次更新2c个词向量

四. 基于Negative Sampling（负采样）的word2vec

4.1 CBOW

CBOW中，已知词w$w$的上下文context(w)$context(w)$,需要预测w$w$。
因此，对于给定的context(w)$context(w)$，词w$w$就是一个正样本，其他词就是负样本。
w$w$的负样本子集 NEG(w)$NEG(w)$
目标函数：

g(w)=σ(xTwθw)∏u∈NEG(w)[1−σ(xTwθu)]$$g(w)=\sigma (x_w^T{\theta }^w)\prod _{u\in NEG(w)}[1-\sigma (x_w^T{\theta }^u)]$$

其中σ(xTwθw)$\sigma (x_w^T{\theta }^w)$表示当上下文为context(w)$context(w)$时，预测中心词为w$w$的概率。
σ(xTwθu)，u∈NEG(w)$\sigma (x_w^T{\theta }^u)，u\in NEG(w)$表示上下文为context(w)$context(w)$时，预测中心词为u$u$的概率。
希望最大化σ(xTwθw)$\sigma (x_w^T{\theta }^w)$，同时最小化所有的σ(xTwθu)$\sigma (x_w^T{\theta }^u)$。
对于语料库，目标函数

G=∏w∈Cg(w)$$G=\prod _{w\in C}g(w)$$

同样，对θ$\theta$， 对xw$x_w$求导。

负采样算法

如果词汇表的大小为N,那么我们就将一段长度为1的线段分成N份，每份对应词汇表中的一个词。
当然每个词对应的线段长度是不一样的（非等距剖分），高频词对应的线段长，低频词对应的线段短。
高频词被选为负样本的概率大。

在采样前，我们将这段长度为1的线段划分成M等份（等距剖分），这里M>>N，这样可以保证每个词对应的线段都会划分成对应的小块。而M份中的每一份都会落在某一个词对应的线段上。
如图m和I就建立了映射关系。
每次随机生成 [1,M-1] 间的随机整数，根据这个映射就得到样本。
如果碰巧选到自己就跳过。

参考文献：https://blog.csdn.net/itplus/article/details/37969519