对话通信原理——信息

信息量

I（信息量）＝不确定程度的减少量

自信息量

定义：一个随机事件的自信息量定义为其出现概率对数的负值。
一个消息越不可预测，它所含的信息量就越大
（消息发生的概率越低，信息量越大）
对话通信原理——信息
a=2,单位为比特（bit）

信息熵（平均信息量）

大体了解概念和公式，以后再深究。

学习视频：《对话通信原理视频》

公式补充

$1.信息熵$
$H(X)=E[-log_2p(x_i)]=\textstyle \sum_{i=1}^n p(x_i)log_2 \frac{1}{p(x_i)}比特/符号$
$也可用H(p_1,p_2,...,p_n)表示$
$2.联合熵$
$H(X,Y)=\textstyle \sum_{i=1}^n \sum_{j=1}^n p(x_i,y_j)log_2 \frac{1}{p(x_i,y_j)} 比特/符号对$
$3.条件熵$
$H(Y|X)=\textstyle \sum_{i=1}^n p(x_i)H(Y|x_i)=\textstyle \sum_{i=1}^n \sum_{j=1}^n p(x_i,y_j)log_2 \frac{1}{p(y_j|x_i)} 比特/符号对$
$4.互信息$
$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y)比特/符号对$
对话通信原理——信息
$5.基本性质$

非负性：由定义可得
对称性：当概率矢量中的各分量的次序任意变更时，熵值不变。
确定性：某消息取值概率为1时，熵为0
极值性：等概时取得极大值
$H(p_1,p_2,...,p_n)≤H(\frac{1}{n},\frac{1}{n},...,\frac{1}{n})=log_2n$