七月算法机器学习 8 信息论、最大熵模型与EM算法

目录

主要内容

有监督学习

先验概率与后验概率

最大似然法估计

自信息

熵：自信息的期望

互信息

信息论与机器学习的关系

最大熵原理

---

 

主要内容
 

 统计学习基础回顾
1.后验概率 2.极大似然法(MLE)
 信息论基础
1.（互）信息 2.熵、条件熵 3.交叉熵、相对熵
 最大熵模型
1. 凸优化理论推导Maxent 2.与MLE的关系
 EM算法
1. GMM实例 2. MLE推导EM

 

有监督学习
 

先验概率与后验概率
 

 

最大似然法估计
 

 

自信息
 

 

熵：自信息的期望
 

 

最值在三者相同的地方

互信息

 

信息论与机器学习的关系
 

 

最大熵原理