交叉熵和信息熵

交叉熵：
用于多分类的损失函数，熵越大模型越不确定，熵越小模型越确定，即优化模型目的是最小化交叉熵
公式如下：

例子：

信息熵：
信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量，信息熵大小与观测者的观测粒度有关，即在$P(x_i)$P(xi​)这个观测分布下熵的大小

相对熵（KL散度）
如果对于同一个随机变量$X$X有两个单独的概率分布$P(x)P\left(x\right)P(x)和Q(x)Q\left(x\right)Q(x)$P(x)P(x)P(x)和Q(x)Q(x)Q(x)，则我们可以使用KL散度来衡量这两个概率分布之间的差异。
比如一个是模型得到的概率分布$P(x)$P(x)一个是真实分布$Q(x)$Q(x)，那么这俩个分布分差异可以用相对熵表示

也可以这么计算（可以看下面链接推导）：

相对熵可以衡量两个随机分布之间的距离，当两个随机分布相同时，它们的相对熵为零，当两个随机分布的差别增大时，它们的相对熵也会增大。所以相对熵可以用于比较文本的相似度，先统计出词的频率，然后计算相对熵。另外，在多指标系统评估中，指标权重分配是一个重点和难点，也通过相对熵可以处理

参考链接：https://blog.csdn.net/b1055077005/article/details/100152102