9.2 EM算法的收敛性
收敛定理9.1
观测数据的似然函数单调递增
收敛定理9.2
EM算法是收敛性包含对数似然函数序列的收敛性和关于参数估计序列的收敛性,即一定可以通过迭代发现似然函数的极值点。
9.3 EM算法在高斯混合模型学习中的应用
9.3.1 高斯混合模型(概率分步模型)
9.3.2高斯混合模型参数估计的EM算法
1.明确隐变量,写出对数似然函数:
隐变量:反应观测数据的高斯分布分模型
完全数据:观测数据和隐变量数据
完全数据的似然函数:
对数似然函数:
2.EM算法的E步:确定Q函数
求对数似然函数的均值:
计算过程略,结果:
3.确定EM算法的M步
利用迭代求取Q函数的极大值