1. Entropy
2. 序列熵（无记忆，有记忆，马尔科夫）
3. Fixed-to-variable-length codes (给n个输出symbols进行变长编码）
4. Asymptotic Equipartition Property 渐近等分性
渐近等分性是指随机变量长序列的一种重要特性，是编码定理的理论基础，简称AEP。
定义：
当随机变量的序列足够长时,其中一部分序列就显现出一种典型的性质：这些序列中各个符号的出现频数非常接近于各自的出现概率（Frequency equals probability），而这些序列的概率则趋近于相等，且它们的和非常接近于1,这些序列就称为典型序列（typical sequence）。其余的非典型序列的出现概率之和接近于零。序列的长度越长，典型序列的总概率越接近于1,它的各个序列的出现概率越趋于相等。渐近等分性即因此得名。