【论文阅读】《GloVe: Global Vectors forWord Representation》

GloVe model

单词表示模型：GloVe，用于全局向量，全局语料的统计信息直接由模型获得。

符号

X$X$：词共现矩阵
Xij$X_{ij}$：单词j$j$出现在单词i$i$的上下文中的次数。
Xi=∑kXik$X_i=\sum _k{X}_{ik}$：所有出现在单词i$i$的上下文中的单词次数。
Pij=p(j|i)=XijXi$P_{ij}=p(j|i)=\frac{X_{ij}}{X_i}$ ：单词j$j$出现在单词i$i$的上下文中的概率。

举例：

通过观察图中的比率（第三行）可以看出，当结果大于1时，单词k$k$与ice更相关，当结果小于1时，单词k$k$与steam更相关。

上述论点表明，单词矢量学习的适当起点应该是共现概率的比率而不是概率本身。其中，比率Pik/Pjk$P_{ik}/P_{jk}$取决于单词i$i$、j$j$、k$k$，我们采用最通用的模型形式：

F(wi,wj,w~k)=PikPjk(1)$$\begin{array}{}\text{(1)}& F(w_i,w_j,{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}\end{array}$$

其中，w∈R$w\in \mathbb{R}$表示单词向量，w~∈Rd$\tilde{w}\in {\mathbb{R}}^d$表示单个的上下文词向量。
对于F的选择，由于向量空间本质上是线性结构，因此最自然的方法是使用向量差异。通过仅考虑两个目标词的差异可以修改为：

F(wi−wj,w~k)=PikPjk(2)$$\begin{array}{}\text{(2)}& F(w_i-w_j,{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}\end{array}$$

采用参数点积来防止F$F$函数以不和需要的方式进行矢量维度混合：

F((wi−wj)Tw~k)=PikPjk(3)$$\begin{array}{}\text{(3)}& F((w_i-w_j{)}^T{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}\end{array}$$

对于单词共现矩阵，单词和上下文单词之间的区别是任意的，我们可以自由地交换这两个角色。我们的最终模型在这种重新标记下应该是不变的，因此我们通过两步骤来回复对称性。
首先要求F$F$函数在(R,+)$(\mathbb{R},+)$和(R,×)$(\mathbb{R},\times )$之间应该是同态的。

F((wi−wj)Tw~k)=F(wTiw~k)F(wTjw~k)(4)$$\begin{array}{}\text{(4)}& F((w_i-w_j{)}^T{\tilde{w}}_k)=\frac{F(w_i^T{\tilde{w}}_k)}{F(w_j^T{\tilde{w}}_k)}\end{array}$$

F(wTiw~k)=Pik=XikXi(5)$$\begin{array}{}\text{(5)}& F(w_i^T{\tilde{w}}_k)=P_{ik}=\frac{X_{ik}}{X_i}\end{array}$$

我们提出了一种新的加权最小二乘回归模型来解决噪音等问题。

J=∑i,j=1Vf(Xij)(wTiw~j+bi+b~j−logXij)2(6)$$\begin{array}{}\text{(6)}& J=\sum _{i,j=1}^{V}f(X_{ij})(w_i^T{\tilde{w}}_j+b_i+{\tilde{b}}_j-log{X}_{ij}{)}^2\end{array}$$

其中，V$V$是词汇表的大小。加权函数遵循以下规则：
1. f(0)=0$f(0)=0$。如果f$f$函数是一个连续函数，那么当x→0$x\to 0$时，limx→0f(x)log2x$li{m}_{x\to 0}f(x)lo{g}^{2}x$是有限的。
2. f(x)$f(x)$应该是非递减的。
3. f(x)$f(x)$对于大的x值，它应该相对较小，以使得频繁的共现值不会超重。

我们找到了合适的函数：

f(x)={(x/xmax)α,1,if x<xmaxotherwise(7)$$\begin{array}{}\text{(7)}& f(x)=\{\begin{array}{ll}(x/x_{max}{)}^{\alpha },& \text{if }x<x_{max}\\ 1,& \text{otherwise}\end{array}\end{array}$$

其中，α=3/4$\alpha =3/4$时效果最好。

模型复杂度

从等式(8)和加权函数f(x)$f(x)$可以看出，模型的计算复杂度取决于矩阵X$X$中非零元素的个数。因为这个数字总是小于矩阵大小，所以模型规模不会比O(|V|2)$O(|V{|}^2)$更差。但是典型的词汇表可以达到成千上万的单词，所以|V|2$|V{|}^2$可能是数千亿，比大多数语料库都大得多。因此还需要对非零元素的个数进行约束。

有必要对单词共现的分布做一些假设，我们假定单词i$i$和单词j$j$之间共现次数Xij$X_{ij}$可以被建模为该单词对的频率等级的幂律函数rij$r_{ij}$：

Xij=k(rij)α(8)$$\begin{array}{}\text{(8)}& X_{ij}=\frac{k}{(r_{ij}{)}^{\alpha }}\end{array}$$

语料库中的单词总数与同现矩阵X$X$的所有元素和成比例。

|C| ∑ijXij=∑r=1|X|krα=kH|X|,α(9)$$\begin{array}{}\text{(9)}& |C|\sum _{ij}{X}_{ij}=\sum _{r=1}^{|X|}\frac{k}{r^{\alpha }}=k{H}_{|X|,\alpha }\end{array}$$

|X|$|X|$是最大频率等级，与矩阵X$X$中非零元素的数量一致，也是公式(8)中r$r$的最大值。