复合熵、条件熵和信息增益

复合熵：

条件熵：

 

复合熵和条件熵之间的关系：

 

这个公式把复合熵、条件熵以及熵联系到一起了。

条件熵仅能大于等于零而不会有负值，而且不大于原来的熵，即当知道y时，不确定度肯定是有所降低了。

 

在x与y独立无关时，条件熵与原熵值相等

 

 

信息增益是通过熵与条件熵的差计量的

掷一次骰子，由于六种结局（点）的出现概率相等，所以结局的不确定程度（熵）为log6 ，如果告诉你掷骰子的结局是单数或者双数，这显然是一个信息。这个信息消除了我们的一些不确定性。把消除的不确定性称为信息增益显然是妥当的。