EM算法（高斯混合）

参考文献连接：

深入理解EM推导过程（https://blog.csdn.net/xietingcandice/article/details/44653901）

EM算法一般表述（https://www.cnblogs.com/cxchanpin/p/6731780.html）

EM来源：抽取的样本分布未知，需要通过参数反过来判断样本的分布。所以引出EM隐含变量

思路：初始化隐含变量，估计出每个类别对应的分布参数。再根据参数调整隐含变量，依次迭代

推导：

1、极大似然取对数

2、对每个样例的每个可能类别z求联合分布概率和（隐含变量：z）

目标：找到合适的θ和z让L(θ)最大。

对于每一个样例i，让表示该样例隐含变量z的某种分布，满足的条件是。（如果z是连续性的，那么是概率密度函数，需要将求和符号换做积分符号）。比如要将班上学生聚类，假设隐藏变量z是身高，那么就是连续的高斯分布。如果按照隐藏变量是男女，那么就是伯努利分布了。

可以由前面阐述的内容得到下面的公式：

（3）利用Jensen不等式，即凹函数存在：f(E[x]) >= E[f(x)]

EM高斯混合的回归分析：