大文件的霍夫曼树

Question

我一直在互联网上搜索，但找不到我需要的东西。

我必须使用 Huffman 编码压缩大文件。我的想法是读取文件的前 1-2MB

（避免先读取整个文件来构建树，然后再读取一次以对其进行编码，避免 O(2n) ），

并构建霍夫曼树。如果缺少 256 个字母字节中的任何一个，我会自己添加它，以防它稍后出现在文件中（而不是前 1-2 MB）。 但是尝试使用这个来测试结果：

int * totalFr = new int[256];
unsigned char * symArr= new  unsigned char[256];

for (int i = 0; i < 256; i++)
{
    totalFr[i] = i;
    symArr[i] = unsigned char(i);
}

int size = sizeof(symArr) / sizeof(symArr[0]);
buildHuffmanTree(totalFr,symArr, size );
delete[] totalFr;
delete[] arrei;

buildHuffmanTree 是一个函数，它构建 Huffman 树，让我意识到我能得到的最佳字符代码是 7 位，例如 0000001。

这就是我的问题的来源 - 为完整的 256 个单词字母表构建 Huffman Tree 是否值得？还是对像 1-2MB 这样的块使用自适应霍夫曼编码更好

Answer 1

除非数据在存在哪些字节方面存在极大偏差，否则您不能仅对霍夫曼编码抱有太多期望。我刚刚尝试了来自 Wikipedia 的 100 MB 英文文本文件。它将文件缩小到其原始大小的 63%，因此平均可能是 8 位到 5 位。这也是一次以大约 16 KB 的块执行 Huffman，以便代码适应每个块。

正常的 zlib 压缩也会寻找匹配的字符串，将其缩小到原始大小的 35%。更高级的压缩器，例如 xz，它会花费更多的时间和内存来寻找更远更远的距离来匹配字符串，并且比 Huffman 编码做得更好，将其缩小到原始大小的 26%。