每个字符怎么可能有 0 位？

Question

我有一个字符串 ABABABAB 的例子，我必须计算这个字符串的熵。

很明显，当我使用不同的字母时，我可以得到不同的数字。当我使用字母 A={a,b} 时，我得到的答案是熵 = 每个字符 1 位（使用香农公式）=> 表示整个字符串有 8 位。

但是当我们取 A={ab,aa,bb,ba} 时呢？

我们得到每个字符的熵 =0 位（这也很明显，因为没有随机性）。 怎么可能有 0 bpc ？ 所以整个字符串 = 0 位？=/ 我不明白我哪里错了..

提前感谢您的任何帮助。

Answer 1

是的，这是可能的，但需要发送其他信息。特别是有四个编码符号，唯一可能的符号是 AB。一旦你发送了这些东西，剩下的就是零位。