多进程可以加速压缩任务多少？

Question

我有一个大型压缩任务（压缩 10000 个大文件（每个 > 10 G））

我发现 xz -z 或 gzip 很慢。

所以，我想使用多进程来使压缩并行化。

但我听说高 IO 任务的限制是 IO 速度。

我在硬件设计方面不太擅长。

那么，多进程可以加速压缩吗？

Answer 1

是的，可以。压缩通常是计算限制的，而不是 I/O 限制的。您可以使用pigz 来接近 n 个核心的 n 倍加速。