EM算法

一、前言

1. Jesen不等式

2、二项式分布的最大似然估计

3、高斯分布的极大似然估计

4、高斯混合分布

二、EM算法

1. EM算法的提出

迭代法：

1. 找出一个下界函数$r(x|\theta)$r(x∣θ)（$r(x|\theta) <= l(\theta)$r(x∣θ)<=l(θ)）,在$x_{0}$x0​处于$l(\theta)$l(θ)相切.
2. 找出下界函数$r(x|\theta)$r(x∣θ)的极大值处$x_{1}$x1​.由于$r(x|\theta) <= l(\theta)$r(x∣θ)<=l(θ)，所以$l(\theta,x_{1})>l=l(\theta,x_{0})$l(θ,x1​)>l=l(θ,x0​)
3. 在$x_{1}$x1​处找出下界函数$r(x|\theta)$r(x∣θ),重复上述过程，直到在选$r(x|\theta)$r(x∣θ)时，$r(x_{1}|\theta) = l(\theta，x_{1})=r(x_{max}|\theta)$r(x1​∣θ)=l(θ，x1​)=r(xmax​∣θ).

这种方法与初值的选择有关，不同初值，最后得到的极大值不同。

2. 找出下界函数

• 下界函数可以选择不等式右边的
  $r(x,z;\theta) = \Sigma_{i=1}^{m}\Sigma_{z^{(i)}}Q_{i}(z^{i}))log\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{i})}$r(x,z;θ)=Σi=1m​Σz(i)​Qi​(zi))logQi​(zi)p(x(i),z(i);θ)​
• 找出最近下界.
  在相切点处，$r(x,z;\theta) = l(\theta,x)$r(x,z;θ)=l(θ,x)，$\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{i})}=C$Qi​(zi)p(x(i),z(i);θ)​=C

为什么此处二者相等？（Q是Z的一个分布）


EM算法的整体框架

1. 求隐变量Z的分布$Q_{i}(z^{i})$Qi​(zi)
2. 求下界函数取极大值时的待估参数$\theta$θ
   

3. EM算法的收敛性

三、用EM算法推导混合高斯分布

求均值


求方差