具有 2^n+1 个符号的源的最小和最大熵

Question

考虑具有 N=2^n+1 个符号的字母表的理想源，计算最小和最大熵。第一个符号的概率是 1/2。

当所有符号具有相同的概率时，达到最大熵。因为第一个对它有自己的价值，所以剩下的仍然可以平分另一半。

H(s)max=1/2+log(N-1)=1/2+n=(2n+1)/2。

然后，当一个符号肯定出现时达到最小熵，而其余符号则没有出现。同样，因为第一个已经被分配了一个概率，让另一个有 1/2 的概率，其余的为 0。

H(s)min=1/2+1/2+0(2^n-1)=1

我说的对吗？这似乎很简单，但我需要确保我理解这一点。

第二种情况（最小熵）的霍夫曼压缩是多少？我必须在树中插入每个符号，不是吗？那么熵会很大，不是吗？

谢谢！

Answer 1

第一个符号的条件似乎很奇怪，但根据您的解释，分析似乎是正确的。

关于霍夫曼编码：最佳编码将使用每个符号一位（0 或 1 传输取决于传输两个符号中的哪一个）。无需为其他符号分配序列，因为它们以 0 概率传输。

Answer 2

如果您只有两个具有非零概率的符号，您可以将它们表示为 0 和 1。零概率符号不会在霍夫曼码中表示。