EM算法推导（收敛性证明和在GMM中的应用）

一、EM算法的提出

当你有一组数据像如下这样：

Note: picture source

显然用单个高斯分布模型去拟合它们效果不好，这是一个典型的高斯混合模型的例子：

p(X)=∑l=1kαlN(X|μl,Σl)∑l=1kαl=1$$p(X)=\sum _{l=1}^k{\alpha }_{l}N(X|{\mu }_l,{\mathrm{\Sigma }}_l)\sum _{l=1}^k{\alpha }_l=1$$

（其中αl可以理解为每一个高斯分布的权重）$$（其中{\alpha }_l可以理解为每一个高斯分布的权重）$$

令 Θ={α1,…,αk,μ1,…,μk,Σ1,…,Σk}$\mathrm{\Theta }=\{{\alpha }_1,\dots ,{\alpha }_k,{\mu }_1,\dots ,{\mu }_k,{\mathrm{\Sigma }}_1,\dots ,{\mathrm{\Sigma }}_k\}$，则有：

ΘMLE=argmaxΘL(Θ|X)=argmaxΘ(∑i=1nlog∑l=1kαlN(X|μl,Σl))(58)(59)$$\begin{array}{}\text{(58)}& {\mathrm{\Theta }}_{MLE}& =\underset{\mathrm{\Theta }}{\arg max}L(\mathrm{\Theta }|X)\text{(59)}& & =\underset{\mathrm{\Theta }}{\arg max}\left(\sum _{i=1}^{n}log\sum _{l=1}^k{\alpha }_{l}N(X|{\mu }_l,{\mathrm{\Sigma }}_l)\right)\end{array}$$

该式子包含和（或积分）的对数，不能像单个高斯模型那样直接求导，再令导数为0来求解。这时我们需要利用 EM 算法通过迭代逐步近似极大化 L(Θ|X)$L(\mathrm{\Theta }|X)$ 来求解。

Note: picture source

二、EM算法的导出

先提出 Jensen 不等式：
对于凸函数(convex)，有：

f(t⋅x1+(1−t)⋅x2)≤t⋅f(x1)+(1−t)⋅f(x2)$$f(t\cdot x_1+(1-t)\cdot x_2)\le t\cdot f(x_1)+(1-t)\cdot f(x_2)$$

扩展到高维，令 ∑ki=1pi=1pi≥0$\sum _{i=1}^k{p}_i=1p_i\ge 0$：

f(p1⋅x1+…+pk⋅xk)≤p1⋅f(x1)+…+pk⋅f(xk)$$f(p_1\cdot x_1+\dots +p_k\cdot x_k)\le p_1\cdot f(x_1)+\dots +p_k\cdot f(x_k)$$

f(∑i=1kpi⋅xi)≤∑i=1kpi⋅f(xi)$$f(\sum _{i=1}^k{p}_i\cdot x_i)\le \sum _{i=1}^k{p}_i\cdot f(x_i)$$

用 ϕ$\varphi$ 代替 f$f$ ， f(x)$f(x)$ 代替 x$x$， 我们有

ϕ(∑i=1kpi⋅f(xi))≤∑i=1kpi⋅ϕ(f(xi))$$\varphi (\sum _{i=1}^k{p}_i\cdot f(x_i))\le \sum _{i=1}^k{p}_i\cdot \varphi (f(x_i))$$

故对于凸函数(convex)，有下面这条结论：

ϕ(E[f(x)])≤E[ϕ(f(x))]$$\varphi (E[f(x)])\le E[\varphi (f(x))]$$

同理，对于凹函数(concave)，有相反的结论：

ϕ(E[f(x)])≥E[ϕ(f(x))]$$\varphi (E[f(x)])\ge E[\varphi (f(x))]$$

我们通过引入隐变量 Z 来极大化观测数据 X 关于参数 θ$\theta$ 的对数似然函数：

L(θ)=ln P(X|θ)=ln(P(X,Z|θ)P(Z|X,θ))=ln(P(X,Z|θ)Q(Z)⋅Q(Z)P(Z|X,θ))=ln(P(X,Z|θ)Q(Z))+ln(Q(Z)P(Z|X,θ))(3)(4)(5)$$\begin{array}{}\text{(3)}& L(\theta )& =lnP(X|\theta )=ln\left(\frac{P(X,Z|\theta )}{P(Z|X,\theta )}\right)\text{(4)}& & =ln\left(\frac{P(X,Z|\theta )}{Q(Z)}\cdot \frac{Q(Z)}{P(Z|X,\theta )}\right)\text{(5)}& & =ln\left(\frac{P(X,Z|\theta )}{Q(Z)}\right)+ln\left(\frac{Q(Z)}{P(Z|X,\theta )}\right)\end{array}$$

故：

ln P(X|θ)=∫Zln(P(X,Z|θ)Q(Z))Q(Z)+∫Zln(Q(Z)P(Z|X,θ))Q(Z)=r(X|θ)+KL(Q(Z)||P(Z|X,θ))(6)(7)(8)(9)(10)$$\begin{array}{}\text{(6)}& & lnP(X|\theta )\text{(7)}& \text{(8)}& & ={\int }_{Z}ln\left(\frac{P(X,Z|\theta )}{Q(Z)}\right)Q(Z)+{\int }_{Z}ln\left(\frac{Q(Z)}{P(Z|X,\theta )}\right)Q(Z)\text{(9)}& \text{(10)}& & =r(X|\theta )+KL(Q(Z)||P(Z|X,\theta ))\end{array}$$

其中，KL(⋅)≥0$KL(\cdot )\ge 0$，则 ln P(X|θ)≥r(X|θ)$lnP(X|\theta )\ge r(X|\theta )$，也可利用上面的 Jensen 不等式证明:

ln P(X|θ)=ln∫ZP(X,Z|θ)=ln∫ZP(X,Z|θ)Q(Z)⋅Q(Z)=lnEQ(Z)[f(Z)]≥EQ(Z)ln[f(Z)]=∫Zln(P(X,Z|θ)Q(Z))⋅Q(Z)(11)(12)(13)$$\begin{array}{}\text{(11)}& lnP(X|\theta )& =ln{\int }_{Z}P(X,Z|\theta )\text{(12)}& & =ln{\int }_Z\frac{P(X,Z|\theta )}{Q(Z)}\cdot Q(Z)=ln{E}_{Q(Z)}[f(Z)]\text{(13)}& & \ge E_{Q(Z)}ln[f(Z)]={\int }_{Z}ln\left(\frac{P(X,Z|\theta )}{Q(Z)}\right)\cdot Q(Z)\end{array}$$

又当 Q(Z)=P(Z|X,Θ(g))$Q(Z)=P(Z|X,{\mathrm{\Theta }}^{(g)})$ 时 ，有 KL(⋅)=0$KL(\cdot )=0$，此时有：

ln P(X|Θ(g))=r(X|Θ(g))$$lnP(X|{\mathrm{\Theta }}^{(g)})=r(X|{\mathrm{\Theta }}^{(g)})$$

由上 r(X|Θ)$r(X|\mathrm{\Theta })$ 是 L(Θ)$L(\mathrm{\Theta })$ 的一个下界函数，我们通过不断求解下界函数的极大化来逼近求解对数似然函数的极大化:

Θ(g+1)=argmaxΘ∫Zln(P(X,Z|Θ)P(Z|X,Θ(g)))P(Z|X,Θ(g))=argmaxΘ∫Zln(P(X,Z|Θ))P(Z|X,Θ(g)) dz(60)(61)$$\begin{array}{}\text{(60)}& {\mathrm{\Theta }}^{(g+1)}& =\underset{\mathrm{\Theta }}{\arg max}{\int }_{Z}ln\left(\frac{P(X,Z|\mathrm{\Theta })}{P(Z|X,{\mathrm{\Theta }}^{(g)})}\right)P(Z|X,{\mathrm{\Theta }}^{(g)})\text{(61)}& & =\underset{\mathrm{\Theta }}{\arg max}{\int }_{Z}ln\left(P(X,Z|\mathrm{\Theta })\right)P(Z|X,{\mathrm{\Theta }}^{(g)})dz\end{array}$$

EM算法每次迭代包含两步：E步，求期望；M步，求极大化。令 ：

Q(Θ,Θ(g))=∫Zln(P(X,Z|Θ))P(Z|X,Θ(g)) dz$$Q(\mathrm{\Theta },{\mathrm{\Theta }}^{(g)})={\int }_{Z}ln\left(P(X,Z|\mathrm{\Theta })\right)P(Z|X,{\mathrm{\Theta }}^{(g)})dz$$

EM算法如下：

EM算法:
输入：观测变量数据X，隐变量数据Z，联合分布 P(X,Z|Θ)$P(X,Z|\mathrm{\Theta })$ ，条件分布 P(Z|X,Θ)$P(Z|X,\mathrm{\Theta })$
输出：模型参数 Θ$\mathrm{\Theta }$
(1) 选择初始参数 Θ(0)${\mathrm{\Theta }}^{(0)}$；
(2) E步，记 Θ(i)${\mathrm{\Theta }}^{(i)}$ 为第 i 次迭代参数 Θ$\mathrm{\Theta }$ 的估计值，在第 i+1 次迭代的E步， 计算 Q(Θ,Θ(g))$Q(\mathrm{\Theta },{\mathrm{\Theta }}^{(g)})$;
(3) M步，确定第 i+1 次迭代的参数的估计值 Θ(i+1)${\mathrm{\Theta }}^{(i+1)}$，即：

Θ(i+1)=argmaxΘ Q(Θ,Θ(g))$${\mathrm{\Theta }}^{(i+1)}=\underset{\mathrm{\Theta }}{\arg max}Q(\mathrm{\Theta },{\mathrm{\Theta }}^{(g)})$$

(4) 重复(2)步和(3)步，直到收敛。

下图给出 EM 算法的直观解释：

由图，两个函数在 θ=θ(g)$\theta ={\theta }^{(g)}$ 处相等，由EM算法 (3) 步，我们得到下一个点 θ(g+1)${\theta }^{(g+1)}$ 使下界函数极大化。下界函数的增加保证对数似然函数在每次迭代中也是增加的。EM算法在点 θ(g+1)${\theta }^{(g+1)}$ 处重新计算 Q(Θ,Θ(g+1))$Q(\mathrm{\Theta },{\mathrm{\Theta }}^{(g+1)})$， 进行下一次迭代。迭代过程中，对数似然函数不断增大，但从图可以看出EM算法不能保证找到全局最优值。

三、EM算法的收敛性

由

P(X|θ)=P(X,Z|θ)P(Z|X,θ)$$P(X|\theta )=\frac{P(X,Z|\theta )}{P(Z|X,\theta )}$$

取对数有：

logP(X|θ)=logP(X,Z|θ)−logP(Z|X,θ)$$logP(X|\theta )=logP(X,Z|\theta )-logP(Z|X,\theta )$$

记，

Q(θ,θ(g))=∫Zlog(P(X,Z|θ))P(Z|X,θ(g)) dz$$Q(\theta ,{\theta }^{(g)})={\int }_{Z}log\left(P(X,Z|\theta )\right)P(Z|X,{\theta }^{(g)})dz$$

H(θ,θ(g))=∫Zlog(P(Z|X,θ))P(Z|X,θ(g)) dz$$H(\theta ,{\theta }^{(g)})={\int }_{Z}log\left(P(Z|X,\theta )\right)P(Z|X,{\theta }^{(g)})dz$$

于是对数似然函数可以写成：

logP(X|θ)=Q(θ,θ(g))−H(θ,θ(g))$$logP(X|\theta )=Q(\theta ,{\theta }^{(g)})-H(\theta ,{\theta }^{(g)})$$

故有如下等式：

logP(X|θ(g+1))−logP(X|θ(g))=[Q(θ(g+1),θ(g))−Q(θ(g),θ(g))]−[H(θ(g+1),θ(g))−H(θ(g),θ(g))]$$logP(X|{\theta }^{(g+1)})-logP(X|{\theta }^{(g)})=[Q({\theta }^{(g+1)},{\theta }^{(g)})-Q({\theta }^{(g)},{\theta }^{(g)})]-[H({\theta }^{(g+1)},{\theta }^{(g)})-H({\theta }^{(g)},{\theta }^{(g)})]$$

显然，右端第一项，由于 θ(g+1)${\theta }^{(g+1)}$ 使 Q(θ,θ(g))$Q(\theta ,{\theta }^{(g)})$达到极大，所以有：

Q(θ(g+1),θ(g))−Q(θ(g),θ(g))≥0$$Q({\theta }^{(g+1)},{\theta }^{(g)})-Q({\theta }^{(g)},{\theta }^{(g)})\ge 0$$

其第二项，有：

H(θ(g+1),θ(g))−H(θ(g),θ(g))=∫Zln(P(Z|X,θ(g+1))P(Z|X,θ(g)))P(Z|X,θ(g))≤ln∫Z(P(Z|X,θ(g+1))P(Z|X,θ(g))P(Z|X,θ(g)))=ln(∫ZP(Z|X,θ(g+1)))=0(78)(79)(80)(81)$$\begin{array}{}\text{(78)}& & H({\theta }^{(g+1)},{\theta }^{(g)})-H({\theta }^{(g)},{\theta }^{(g)})\text{(79)}& & ={\int }_{Z}ln\left(\frac{P(Z|X,{\theta }^{(g+1)})}{P(Z|X,{\theta }^{(g)})}\right)P(Z|X,{\theta }^{(g)})\text{(80)}& & \le ln{\int }_Z\left(\frac{P(Z|X,{\theta }^{(g+1)})}{P(Z|X,{\theta }^{(g)})}P(Z|X,{\theta }^{(g)})\right)\text{(81)}& & =ln({\int }_{Z}P(Z|X,{\theta }^{(g+1)}))=0\end{array}$$

综上，有:

logP(X|θ(g+1))≥logP(X|θ(g))$$logP(X|{\theta }^{(g+1)})\ge logP(X|{\theta }^{(g)})$$

四、EM算法在GMM中的应用

在本文的第一部分已经提出高斯混合模型：

p(X)=∑l=1kαlN(X|μl,Σl)∑l=1kαl=1$$p(X)=\sum _{l=1}^k{\alpha }_{l}N(X|{\mu }_l,{\mathrm{\Sigma }}_l)\sum _{l=1}^k{\alpha }_l=1$$

令 Θ={α1,…,αk,μ1,…,μk,Σ1,…,Σk}$\mathrm{\Theta }=\{{\alpha }_1,\dots ,{\alpha }_k,{\mu }_1,\dots ,{\mu }_k,{\mathrm{\Sigma }}_1,\dots ,{\mathrm{\Sigma }}_k\}$

在本文的第三部分我们已经推导出EM算法：

Θ(g+1)=argmaxΘ∫Zln(P(X,Z|Θ))P(Z|X,Θ(g)) dz$${\mathrm{\Theta }}^{(g+1)}=\underset{\mathrm{\Theta }}{\arg max}{\int }_{Z}ln\left(P(X,Z|\mathrm{\Theta })\right)P(Z|X,{\mathrm{\Theta }}^{(g)})dz$$

E step:

我们需要定义这两项 lnP(X,Z|Θ)$lnP(X,Z|\mathrm{\Theta })$ 和 P(Z|X,Θ)$P(Z|X,\mathrm{\Theta })$;

P(X|Θ)=∑l=1kαlN(X|μl,Σl)=∏i=1n∑l=1kαlN(xi|μl,Σl)$$P(X|\mathrm{\Theta })=\sum _{l=1}^k{\alpha }_{l}N(X|{\mu }_l,{\mathrm{\Sigma }}_l)=\prod _{i=1}^n\sum _{l=1}^k{\alpha }_{l}N(x_i|{\mu }_l,{\mathrm{\Sigma }}_l)$$

由上式，我们可以定义：

P(X,Z|Θ)=∏i=1np(xi,zi|Θ)=∏i=1np(xi|zi,Θ)p(zi|Θ)=∏i=1nαziN(μzi,Σzi)(20)(21)$$\begin{array}{}\text{(20)}& P(X,Z|\mathrm{\Theta })& =\prod _{i=1}^{n}p(x_i,z_i|\mathrm{\Theta })\text{(21)}& & =\prod _{i=1}^{n}p(x_i|z_i,\mathrm{\Theta })p(z_i|\mathrm{\Theta })=\prod _{i=1}^n{\alpha }_{z_i}N({\mu }_{z_i},{\mathrm{\Sigma }}_{z_i})\end{array}$$

由贝叶斯公式，我们有：

P(Z|X,Θ)=∏i=1np(zi|xi,Θ)=∏i=1nαziN(μzi,Σzi)∑kl=1αlN(μl,Σl)$$P(Z|X,\mathrm{\Theta })=\prod _{i=1}^{n}p(z_i|x_i,\mathrm{\Theta })=\prod _{i=1}^n\frac{{\alpha }_{z_i}N({\mu }_{z_i},{\mathrm{\Sigma }}_{z_i})}{\sum _{l=1}^k{\alpha }_{l}N({\mu }_l,{\mathrm{\Sigma }}_l)}$$

结合两式，得到：

Q(Θ,Θ(g))=∫Zln(P(X,Z|Θ))P(Z|X,Θ(g)) dz=∫z1…∫zk(∑i=1n[lnαzi+lnN(μzi,Σzi)])⋅∏i=1np(zi|xi,Θ(g)) dz1…dzk(22)(23)$$\begin{array}{}\text{(22)}& Q(\mathrm{\Theta },{\mathrm{\Theta }}^{(g)})& ={\int }_{Z}ln\left(P(X,Z|\mathrm{\Theta })\right)P(Z|X,{\mathrm{\Theta }}^{(g)})dz\text{(23)}& & ={\int }_{z_1}\dots {\int }_{z_k}\left(\sum _{i=1}^n[ln{\alpha }_{z_i}+lnN({\mu }_{z_i},{\mathrm{\Sigma }}_{z_i})]\right)\cdot \prod _{i=1}^{n}p(z_i|x_i,{\mathrm{\Theta }}^{(g)})d{z}_1\dots d{z}_k\end{array}$$

令：

f(zi)=lnαzi+lnN(μzi,Σzi)$$f(z_i)=ln{\alpha }_{z_i}+lnN({\mu }_{z_i},{\mathrm{\Sigma }}_{z_i})$$

p(z1,…,zk)=∏i=1np(zi|xi,Θ(g))$$p(z_1,\dots ,z_k)=\prod _{i=1}^{n}p(z_i|x_i,{\mathrm{\Theta }}^{(g)})$$

又可以写成如下形式：

Q(Θ,Θ(g))=∫z1…∫zk(∑i=1nf(zi))⋅p(z1,…,zk) dz1…dzk$$Q(\mathrm{\Theta },{\mathrm{\Theta }}^{(g)})={\int }_{z_1}\dots {\int }_{z_k}\left(\sum _{i=1}^{n}f(z_i)\right)\cdot p(z_1,\dots ,z_k)d{z}_1\dots d{z}_k$$

看上式的第一项，可以作如下化简：

∫z1…∫zk(f(z1))⋅p(z1,…,zk) dz1…dzk=∫z1f(z1)∫z2…∫zk⋅p(z1,…,zk) dz1…dzk=∫z1f(z1)⋅p(z1)dz1(24)(25)(26)$$\begin{array}{}\text{(24)}& & {\int }_{z_1}\dots {\int }_{z_k}\left(f(z_1)\right)\cdot p(z_1,\dots ,z_k)d{z}_1\dots d{z}_k\text{(25)}& & ={\int }_{z_1}f(z_1){\int }_{z_2}\dots {\int }_{z_k}\cdot p(z_1,\dots ,z_k)d{z}_1\dots d{z}_k\text{(26)}& & ={\int }_{z_1}f(z_1)\cdot p(z_1)d{z}_1\end{array}$$

每一项都作类似的化简，我们得到：

Q(Θ,Θ(g))=∑i=1n∫zif(zi)⋅p(zi)dzi=∑i=1n∫zi(lnαzi+lnN(xi|μzi,Σzi))⋅p(zi|xi,Θ(g))dzi=∑zi=1k∑i=1n(lnαzi+lnN(xi|μzi,Σzi)⋅p(zi|xi,Θ(g))=∑l=1k∑i=1n(lnαl+lnN(xi|μl,Σl)⋅p(l|xi,Θ(g))(27)(28)(29)(30)$$\begin{array}{}\text{(27)}& Q(\mathrm{\Theta },{\mathrm{\Theta }}^{(g)})& =\sum _{i=1}^n{\int }_{z_i}f(z_i)\cdot p(z_i)d{z}_i\text{(28)}& & =\sum _{i=1}^n{\int }_{z_i}\left(ln{\alpha }_{z_i}+lnN(x_i|{\mu }_{z_i},{\mathrm{\Sigma }}_{z_i})\right)\cdot p(z_i|x_i,{\mathrm{\Theta }}^{(g)})d{z}_i\text{(29)}& & =\sum _{z_i=1}^k\sum _{i=1}^n\left(ln{\alpha }_{z_i}+lnN(x_i|{\mu }_{z_i},{\mathrm{\Sigma }}_{z_i}\right)\cdot p(z_i|x_i,{\mathrm{\Theta }}^{(g)})\text{(30)}& & =\sum _{l=1}^k\sum _{i=1}^n\left(ln{\alpha }_l+lnN(x_i|{\mu }_l,{\mathrm{\Sigma }}_l\right)\cdot p(l|x_i,{\mathrm{\Theta }}^{(g)})\end{array}$$

M step:

Q(Θ,Θ(g))=k∑l=1n∑i=1(lnαl+lnN(xi|μl,Σl))⋅p(l|xi,Θ(g))=k∑l=1n∑i=1lnαl⋅p(l|xi,Θ(g))+k∑l=1n∑i=1ln[N(xi|μl,Σl)]⋅p(l|xi,Θ(g))
容易看出第一项只含参数 α，第二项只含参数 μ,Σ，因此我们可以独立地进行最大化两项。
（1）最大化 α
∂∑kl=1∑ni=1lnαl⋅p(l|xi,Θ(g))∂α1,…,∂αk=[0,…,0]st.k∑l=1αl=1
这是一个有约束的极值问题，我们利用拉格朗日乘子法进行求解：
L(α1,…,αk,λ)=k∑l=1ln(αl)(n∑i=1p(l|xi,Θ(g))−λ(k∑l=1αl−1) 求解如下：
⇒∂L∂αl=1αl(n∑i=1p(l|xi,Θ(g)))−λ=0∂L∂λ=(k∑l=1αl−1)=0⇒αl=1Nn∑i=1p(l|xi,Θ(g))

由下图我们可以直观理解：
α1 就是把所有样本点的 aa+b 加起来再除以样本总数N，即求所有样本点的 aa+b 的均值；
α2 就是把所有样本点的 ba+b 加起来再除以样本总数N，即求所有样本点的 ba+b 的均值；

（2）最大化 μ,Σ
∂∑kl=1∑ni=1ln[N(xi|μl,Σl)]⋅p(l|xi,Θ(g))∂μ1,…,∂μk,∂Σ1,…,∂Σk=[0,…,0]
经过化简可以得到：
μl=∑ni=1xip(l|xi,Θ)∑ni=1p(l|xi,Θ)
\Sigma_l=\frac{\sum_{i=1}^{n} (x_i-\mu_l)(x_i-\mu_l)^Tp(l|x_i,\Theta)}{\sum_{i=1}^{n} p(l|x_i,\Theta)}

\

五、PYTHON Demos

Demo1:

Demo2:

——————————代码链接——————————

六、参考资料

---

[1] 李航《统计学习方法》
[2] 徐亦达教授的自视频
[3] machine-learning-notes(em.pdf).Professor Richard Xu .