1. 熵
要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。
通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。 放在信息论的语境里面来说，就是一个事件所包含的信息量。
2. KL散度
KL散度，有时候也叫KL距离，一般被用于计算两个分布之间的不同。看名字似乎跟计算两个点之间的距离也很像，但实则不然，因为KL散度不具备有对称性。在距离上的对称性指的是A到B的距离等于B到A的距离。