熵、信息量、信息熵、交叉熵、联合熵、条件熵

熵

1854年，德国物理学家鲁道夫·克劳修斯(T.Clausius) 首次提出熵的概念，我国物理学家胡刚复教授于1923年根据“热温商”之意首次把entropy译为“熵”。

物理学中的熵
19世纪，物理学家开始认识到，世界的动力是能量，并且提出"能量守恒定律"，即能量的总和是不变的。但是，有一个现象让他们很困惑。物理学家发现，能量无法百分百地转换。比如，蒸汽机使用的是热能，将其转换为推动机器的机械能。这个过程中，总是有一些热能损耗掉，无法完全转变为机械能。一开始，物理学家以为是技术水平不高导致的，但后来发现，技术再进步，也无法将能量损耗降到零。他们就将那些在能量转换过程中浪费掉的、无法再利用的能量称为熵。后来，这个概念被总结成了"热力学第二定律"：能量转换总是会产生熵，如果是封闭系统，所有能量最终都会变成熵。

多种解释之一：能量转换的时候，大部分能量会转换成预先设定的状态，比如热能变成机械能、电能变成光能。但是，就像细胞突变那样，还有一部分能量会生成新的状态。这部分能量就是熵，由于状态不同，所以很难利用，除非外部注入新的能量，专门处理熵。

总之，能量转换会创造出新的状态，熵就是进入这些状态的能量。状态多，就是可能性多，表示比较混乱；状态少，就是可能性少，相对来说就比较有秩序。因此，上面结论的另一种表达是：能量转换会让系统的混乱度增加，熵就是系统的混乱度。

宏观态与微观态
一个一分为二的气缸，4个不同的分子，那么有多少种放置的可能？

显然一共有5种宏观态。
对于第1种情况—左4右0，有1种微观态；
对于第2种情况—左3右1，有4种微观态；
对于第3种情况—左2右2，有6种微观态；
对于第4种情况—左2右3，有4种微观态；
对于第5种情况—左0右4，有1种微观态；

再来看一个例子：
一副扑克牌54张
1、从中随机抽1张，共有多少可能？$C_{54}^1=54$C541​=54
  这种情况下的微观态数是54个。
2、从中随机抽3张，共有多少可能？$C_{54}^3=\frac{54*53*52}{3*2*1}=24804$C543​=3∗2∗154∗53∗52​=24804
  这种情况下的微观态数是24804个。
3、从中随机抽3张且这3张是同花的情况？$4*C_{13}^3=1144$4∗C133​=1144
  这种情况下的微观态数是1144个。

那么抽取的3张中是同花的概率为$p(同花)=\frac{1144}{24804}=4.6\%$p(同花)=248041144​=4.6%
那么抽取的3张中不是同花的概率为$1-p(同花)=95.4\%$1−p(同花)=95.4%

显然同花的概率小，非同花的概率大，为什么呢？
  3张是同花的微观态数是1144；
  3张不是同花的微观态数是24804-1144=23660；
  因为非同花微观态 > 同花微观态

如何定量描述这种问题呢？—产生了熵（Entropy）的概念
熵的公式：$E=\epsilon*ln\Omega$E=ϵ∗lnΩ
其中：$\epsilon$ϵ为玻尔兹曼参数，$\epsilon=1.38*10^{-23} J/K$ϵ=1.38∗10−23J/K
   $\Omega$Ω就是某种情况下的微观态个数。

大自然总是倾向于熵最大化；而人类总是倾向于熵最小化，即规则化。

因为自然界总是从微观态个数少向微观态个数多的方向发展，所以$\Omega$Ω总是由少向多变化，熵总是由小向大变化。
熵增加理论：在一个孤立系统中，熵是不减少的！

熵可以作为一个系统混乱程度的标准 。
如果一个系统随机性很大、非常混乱、毫无秩序，则此系统的信息熵越大；反之，如果一个系统是确定的、具有一定的规则、服从一定的秩序，则此系统的信息熵越小。

信息量

信息量是对信息的度量，就跟温度的度量是摄氏度一样，信息的大小跟随机事件的概率有关。
信息论创始人C.E.Shannon定义的一个事件的信息量为：

$I= log_2(\frac{1}{p(x)}) =-log_2(p(x))$I=log2​(p(x)1​)=−log2​(p(x))；

其中$p(x)$p(x)为事件$x$x发生的概率。信息量的单位是bits,$1 bit=log_2(2)$1bit=log2​(2)。

$0 \leqslant p(x) \leqslant 1$0⩽p(x)⩽1，当$p(x)=0.02$p(x)=0.02时，其信息量为5.644

例子：
小明国际象棋下的很一般，假设他在一次国际象棋比赛中获得冠军的概率为0.1；小红国际象棋下的很好，假设他在一次国际象棋比赛中获得冠军的概率为0.9。

如果我告诉你小明在一场国际象棋比赛中获得了冠军，你肯定很惊讶，因为你觉得小明下棋一般，不太可能获得冠军，也就是说你得到的信息量很大，即$I_{小明得冠军}=-log_2(p(小明得冠军))=-log_2(p(0.1))\approx 3.32比特$I小明得冠军​=−log2​(p(小明得冠军))=−log2​(p(0.1))≈3.32比特。
如果我告诉你小红在一场国际象棋比赛中获得了冠军，你可能不觉得奇怪，对你来说这个信息量很小，即$I_{小红得冠军}=-log_2(p(小红得冠军))=-log_2(p(0.9))\approx 0.152 比特$I小红得冠军​=−log2​(p(小红得冠军))=−log2​(p(0.9))≈0.152比特。

信息熵

信息熵是信息价值大小的度量指标。
香农(Shannon)给出的信息熵公式：
$E=k\sum_{i=1}^np_i*(-log_n*p_i)=-k\sum_{i=1}^np_i*log_n*p_i$E=k∑i=1n​pi​∗(−logn​∗pi​)=−k∑i=1n​pi​∗logn​∗pi​
一般我们让$n=2$n=2，并去掉系数$k$k，所以有：
$E=-\sum_{i=1}^np_i*log_2*p_i$E=−∑i=1n​pi​∗log2​∗pi​

例1：
某天气预报报道哈尔滨的冬天气温为30摄氏度。这一听很震惊，因为信息量很大，但是细细一想，觉得这十有八九是假的，也就是说这条报道的价值很低。如果说哈尔滨的夏天气温为30摄氏度，这很常见，也就是说其信息量很低，那么其价值呢？如何去衡量？
例2：
假如有32个足球对进行比赛，每一队的实力相当，那么每一队胜出的概率都是$\frac{1}{32}$321​，那么要猜哪个队胜出很困难，其信息熵为：
$E=-32*(\frac{1}{32}*log_2(\frac{1}{32})=5$E=−32∗(321​∗log2​(321​)=5

交叉熵

$L=\frac{1}{n}\sum_{j=0}^n\biggl(y_j*log_n(H_j)+(1-y_j)*log_n(1-H_j)\biggr)$L=n1​∑j=0n​(yj​∗logn​(Hj​)+(1−yj​)∗logn​(1−Hj​))   （1）
为了计算简便，我们可以使用$log_2$log2​或$ln$ln替代上式中的$log_n$logn​。
损失函数$L$L越大（约有价值），证明我们得到的$w_i,b$wi​,b越好，但是我们习惯损失函数越小越好，所以对右边取负：

$L=-\frac{1}{n}\sum_{j=0}^n\biggl(y_j*log(H_j)+(1-y_j)*log(1-H_j)\biggr)$L=−n1​∑j=0n​(yj​∗log(Hj​)+(1−yj​)∗log(1−Hj​))
$\quad=-\frac{1}{n}\sum_{j=0}^n\biggl(y_j*ln(H_j)+(1-y_j)*ln(1-H_j)\biggr)$=−n1​∑j=0n​(yj​∗ln(Hj​)+(1−yj​)∗ln(1−Hj​))

极大似然估计（Maximum Likelihood Estimation，MLE）角度理解：

$MLE=\frac{1}{n}\prod_{j=0}^n\biggl(H_j^{y_j}*(1-H_j)^{1-y_j}\biggr)$MLE=n1​∏j=0n​(Hjyj​​∗(1−Hj​)1−yj​)

对MLE做等价变形：两边同时取对数就等同于上面的公式(1)了。

相对熵

联合熵