- 信息量：事件发生的可能性越大，其信息量越低
- 熵：一个事件各种可能结果的信息量的期望值
- 相对熵（KL散度）：描述不同分布的差异
- 交叉熵
- 机器学习中为什么使用交叉熵作为损失函数？
机器学习的最终目标是学习到数据的真实分布P(real)，这是无法实现的，只能退而求其次，从真实数据中采样得到训练数据，使模型学到的分布P(model)尽可能接近训练数据的分布P(train)。在衡量P(train)和P(model)的差异时，就可以使用KL散度，又因为对于训练数据，其熵是已知的，因此只需要计算交叉熵就可衡量两个分布之间的差异。这就是为什么要采用交叉熵作为损失函数。