熵、交叉熵、相对熵（KL 散度）意义及其关系

• 熵：
• 交叉熵：
• 相对熵：
  
  • 相对熵（relative entropy）也叫 KL 散度（KL divergence）；
  • 用来度量两分布之间的不相似性（dissimilarity）；

---

通过交叉熵的定义，连接三者：

1. 简森不等式与 KL散度

因为 是凸函数，所以满足，凸函数的简森不等式的性质：

这里我们令 的凸函数，因此：

也即 KL 散度恒大于等于 0；