EM算法详细推导

• 数学基础
• 公式推导
• 习题

1.数学基础

在推导EM算法之前，我们给出两个要用到的数学知识。

1.1Jensen不等式

设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。

 Jensen不等式：   如果f是凸函数，X是随机变量，那么   

  特别地，如果f是严格凸函数，那么当且仅当，也就是说X是常量。这里我们将简写为

当f是（严格）凹函数当且仅当-f是（严格）凸函数。

 Jensen不等式应用于凹函数时，不等号方向反向，也就是。

1.2 期望公式中Lazy Statistician规则

设Y是随机变量X的函数（g是连续函数），那么

      （1） X是离散型随机变量，它的分布律为，k=1,2,…。若绝对收敛，则有

      

      （2） X是连续型随机变量，它的概率密度为，若绝对收敛，则有

      

2.公式推导

2.1算法基本内容定义：

• 观测数据X
• 隐含数据Z
• 迭代遍历t
• 一共有N个观测数据、N个隐含变量
• 初始公式定义：使用似然估计：

2.2开始推导

由于在电脑上写公式比较累：这一部分我会手写。

3.习题

3.1思想总结：EM就是一个E步M步不断交替优化下界的过程。

3.2习题（暂时没找到合适的 找到补）