信息论：无失真信源编码方式

本博客首发于我的个人博客。

1. 香农编码

设离散无记忆信源

信息论：无失真信源编码方式
二进制香农码的编码步骤如下：

将信源符号按概率从大到小排列，令 $p(x_1)\geq p(x_2)\geq \dots \geq p(x_n)$
令 $p(x_0)=0$ ，用 $p_a(x_j),j=i+1$ 表示第j个码字的累加概率，则：
$p_a(x_j)= \sum_{i=0}^{j-1}{p(x_i)},j=1,2,\dots,n$
确定满足下列不等式的整数 $l_i$ ，并令 $l_i$ 为第i个码字的长度
$-\log{p(x_i)}\leq l_i< -\log{p(x_i)}+1$
将 $p_a(x_j)$ 用二进制表示，并取小数点后 $l_i$ 位作为符号 $x_i$ 的编码

说明：

步骤：

信息论：无失真信源编码方式

说明：

费诺码性质：

步骤：

将概率按从大到小的顺序排列，令 $p(x_1)\geq p(x_2)\geq \dots \geq p(x_n)$
给两个概率最小的信源符号 $p(x_{n-1})$ 和 $p(x_n)$ 各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小概率之和作为新符号的概率，结果得到一个只包含(n-1)个符号的新信源，称为信源的第一次缩减信源，用S₁表示
将缩减信源S₁仍按概率从大到小排列，重复步骤2，得到只含(n-2)个符号的缩减信源
重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩的两个符号的概率之和为1，然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号对应的码字

信息论：无失真信源编码方式

说明：

霍夫曼编码不唯一：每次对两个概率最小的符号分配“0，1”是任意的，合并后新符号概率与其他符号概率相等时这几个符号的次序也是可以任意排列的
合并后的新符号尽量排在靠前的位置，这样码长的方差比较小
合并后的新符号重复编码次数减少，使短码得到充分利用
r元码，信源S的符号个数q必须满足： $q=n(r-1)+r$ （n为非负整数，r-1为每次缩减所减少的信源符号个数）。对于二元码， $q=n+2$ ，n可为任意非负整数
对于不满足条件的r元码，可假设一些信源符号: $S_{q+1},S_{q+2},\dots,S_{q+t}$ 作为虚拟符号，并令它们的概率为0，使得 $q=n(r-1)+r$ 成立，这样处理后的r元霍夫曼编码可充分利用短码，一定是紧致码

霍夫曼码性质：

步骤：

设信源符号集 $A=\{a_1,a_2,\dots,a_q\}$ ，并设所有 $P(a_i)>0$ ，计算累积分布函数： $F(s)=\sum_{a\leq s}{P(a_i)}$
计算修正的累积分布函数：
$\overline{F}(s)=\overline{F}(a_k)=\sum_{i=1}^{k-1}{P(a_i)+{1\over 2}P(a_k)}$
计算码长： $l(s)=\lceil \log{1\over p(s)}\rceil+1$
将修正后的累积分布函数用二进制表示，并取小数点后 $l(s)$ 位作为符号 $x_i$ 的编码

游程编码对相关信源编码更有效，尤其适用于二元相关信源，它属于限失真信源编码，主要用于图文传真、图像传输。

二元序列游程长度：

对于随机序列，游程长度是随机的
游程变换：是一一对应的变换，也是可逆变换
规定二元序列总是从0开始
游程变换减弱了原序列符号间的相关性
游程将二元序列变换成了多元序列
编码方法：
- 首先测定0和1的游程长度的概率分布，即以游程长度为元素，构造一个新的信源
- 对新的信源（游程序列）进行霍夫曼编码
截断处理：
- 选取一个适当的n，将游程长度定为一共有2ⁿ个，所有游程大于2ⁿ的，都用游程为2ⁿ的这个码字来处理
- 将这2ⁿ个游程按概率大小进行霍夫曼编码，得到相应的码字，也就获得游程为2ⁿ的这个码字C
- 对所有大于2ⁿ以上的游程进行编码，所有大于2ⁿ、小于2ⁿ⁺¹的，就用码字C之后加一个n位的自然码A构成对应的码字。A代表余数，用以区分 $2^n-2^{n+1}$ 之间的不同长度
二元独立序列游程长度的熵、平均游程长度：
- $p[L(0)]=p_0^{L(0)-1}p_1$
- $p[L(1)]=p_1^{L(1)-1}p_0$
- $H[L(0)]={H(p_0)\over p_1}, l_0={1\over p_1}$
- $H[L(1)]={H(p_1)\over p_0},l_1={1\over P_0}$
二元独立序列的熵： $H(X)=H(p_0)=H(p_1)$