为什么 gnu 并行分块会提高 gzip 的压缩大小？

Question

文件位于：“Unexpected Efficiency Dept.”

前 9000 万个数字占用大约 761MB，输出如下：

 seq 90000000

根据man parallel，它可以加速gzip的归档大文件，方法是把输入切碎，并使用不同的CPU来压缩块。因此，即使gzip 是单线程，这种技术也使其多线程：

seq 90000000  | parallel --pipe --recend '' -k gzip -9 >bigfile.gz

在 Intel Core i3-2330M (4) @ 2.2GHz 上耗时 46 秒。

将它传递给普通的gzip：

seq 90000000  | gzip -9 > bigfile2.gz

在同一个 CPU 上耗时 80 秒。现在是惊喜：

ls -log bigfile*.gz

输出：

-rw-rw-r-- 1 200016306 Jul  3 17:27 bigfile.gz
-rw-rw-r-- 1 200381681 Jul  3 17:30 bigfile2.gz

300K 更大？那看起来不太对劲。首先，我检查了zdiff 文件是否具有相同的内容——是的，相同。我本以为 any 压缩器在处理连续数据流时会比使用分块压缩器做得更好。为什么bigfile2.gz 不小于bigfile.gz？

Answer 1

原因是对于这种特殊的、相当不寻常的输入，较小的放气块比较大的块更好。默认情况下，gzip 使用较大的 deflate 块，因为这对正常输入数据最有效。 parallel 命令通过每 1 MB 分解输入来强制执行一些较小的放气块，从而产生很小的增益。尽管大多数块的大小仍然相同。

您可以通过在deflateInit2() 中使用zlib 的memLevel 参数为每个 块设置更小的块大小，从而做得更好。在这里，我每次在单个线程中压缩相同的输出，使用从 9 到 2 的 memLevel 值，其中较小的 memLevel 是较小的 deflate 块大小（请注意，zlib 比您的 gzip 在默认级别）：

• 9 - 199688429
• 8 - 198554111（默认）
• 7 - 191582070
• 6 - 184880482
• 5 - 181295029
• 4 - 180137425（此输入的最佳值）
• 3 - 181176610
• 2 - 185759115

该数据的最佳memLevel 是4，其压缩数据比默认memLevel 的8 小12 MB (9%)。对于memLevel 8，deflate 块大小是 16383 个符号，而对于 memLevel 4，deflate 块大小为 1023 个符号。一个符号要么是文字字节，要么是匹配。

改进来自于输入的极其规则的性质，导致匹配和文字命令的规则序列。块大小越小，出现的此类不同命令就越少，从而对每个命令进行编码所需的位数就越少。 memLevel 3 仍然如此，但到那时，每个 deflate 块开头的代码描述开销抵消了更少不同代码的改进。

zopfli 是一个 deflate 压缩器，它优化了块大小和选择的命令，并设法将其压缩到 100,656,812 字节。虽然花了三个半小时！ zopfli 使用压缩级别 11 使用 pigz 调用。

Answer 2

我认为是词典制作的频率不同。 这是速度和压缩效率之间的平衡，例如 gzip vs lzma。

我猜它在拆分情况下更频繁。 所以字典的数字和下面的比较相似。

YouTube 上有一个 20 分钟的讲座，Raul Fraile: How GZIP compression works | JSConf EU 2014。

Answer 3

该效果可能是由于压缩块大小造成的。使用这样的一系列设置压缩相同的输入流：

for i in {1..9}; do seq 90000000 | gzip -$i >$i.gz; done

给出在gzip -5 处达到最小值的文件大小：

-rw-r--r-- 1 203473375 Jul  4 16:39 1.gz
-rw-r--r-- 1 201160853 Jul  4 16:40 2.gz
-rw-r--r-- 1 200181562 Jul  4 16:40 3.gz
-rw-r--r-- 1 204266147 Jul  4 16:40 4.gz
-rw-r--r-- 1 199144028 Jul  4 16:40 5.gz
-rw-r--r-- 1 199688429 Jul  4 16:40 6.gz
-rw-r--r-- 1 199689546 Jul  4 16:41 7.gz
-rw-r--r-- 1 200376213 Jul  4 16:41 8.gz
-rw-r--r-- 1 200381681 Jul  4 16:42 9.gz

这与gzip 的默认-6 相差不远。