一、Jensen不等式
若f为区间I上的凹函数，则Jensen不等式成立：
这里若函数f为凹函数，则有：
凹函数（上凸）如下图所示：
归纳证明：
Jessen不等式是凹函数的基本性质，在信息论中经常用到，常见的凹函数如下图：
二、信息论
1.熵（信息不确定性度量）
2.联合熵
3.条件熵
4.互信息（信息增益）
5.交叉熵（相对熵/KL距离）
总结：熵、联合熵、条件熵、互信息的关系
相关文章：
猜你喜欢
相关资源
相似解决方案
热门标签