EM算法的形式化推导

EM算法的形式化推导：

——序：

EM算法的思想在K_Means， GMM, Semi-GMM, HMM，等算法/模型中均有应用，事实上，对于任何带有隐变量的问题，都可以用EM来求解，可以说EM是机器学习中的一个极其重要的算法。其基本思想是：首先根据己经给出的观测数据，估计出模型参数的值；然后再依据上一步估计出的参数值估计缺失数据的值（E-step），再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计(M-step)，然后反复迭代，直至最后收敛，迭代结束。

下面这张图可以说是，形象的刻画了EM的算法过程：反复构造优化问题的下界并求解最优值。

下面通过形式化的推导来验证这一过程.

假设模型参数为theta, 样本：{xl+1,…, xl+n}, 隐变量:z,则似然函数可以写为：

然后对上式变形(为了引入期望)：

由Jessen不等式，对于凹函数logx, 其相应的Jessen不等式可以写为：

由此，可获得似然函数的下界：

右边写为：

其中第二项不影响优化，忽略掉，写成期望的形式:

最大化似然函数等价于最大化前后两次似然函数值之差：

然后可得**对数似然函数的下界 **：l(theta|theta’t), 其中delta项为前后两个概率分布的K-L散度

接下来，最大化该下界：

去掉常数项以及无关项，由此得到EM的形式化描述：

参考：

1. https://www.cnblogs.com/pinard/p/6912636.html
2. https://blog.csdn.net/qq_39388410/article/details/78235754