学习Linux系统时都会学习这么几个压缩工具：gzip、bzip2、zip、xz，以及相关的解压工具。关于这几个工具的使用和相互之间的压缩比以及压缩时间对比可以看：Linux中归档压缩工具学习
那么Pigz是什么呢？简单的说，就是支持并行压缩的gzip。Pigz默认用当前逻辑cpu个数来并发压缩，无法检测个数的话，则默认并发8个线程，也可以使用-p指定线程数。需要注意的是其CPU使用比较高。
废话不多说，开始测试。
|
1
|
pigz
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
help
]
are
,
.
:
)
respectively
)
)
input
terminal
11
quit
recovery
optimization
processing
format
input
quit
11
header
header
11
the
)
error
subdirectories
rsync
)
input
header
output
pigz
format
files
|
原目录大小
|
1
2
|
hadoop
hadoop
|
使用gzip压缩（1个线程）
|
1
2
3
4
5
6
7
8
9
|
# 压缩耗时;
hadoop
0m49.935s
0m46.205s
0m3.449s
# 压缩大小;
.gz
.gz
|
解压gzip压缩文件
|
1
2
3
4
5
|
.gz
0m17.226s
0m14.647s
0m4.957s
|
使用pigz压缩（4个线程）
|
1
2
3
4
5
6
7
8
9
|
# 压缩耗时;
.tgz
0m13.596s
0m48.181s
0m2.045s
# 压缩大小;
.tgz
.tgz
|
解压pigz文件
|
1
2
3
4
5
|
0m17.508s
0m12.973s
0m5.037s
|
可以看出pigz时间上比gzip快了三分之二还多，但CPU消耗则是gzip的好几倍，我这里只是4个线程的虚拟机，当然pigz的CPU使用率也是很可观的哦，基本100%了。所以在对压缩效率要求较高、但对短时间内CPU消耗较高不受影响的场景，使用pigz非常合适。
当然pigz也不是随着线程的增加速度就越快，也有一个瓶颈区域，网上有人对比了一下：并发8线程对比4线程提升41.2%，16线程对比8线程提升27.9%，32线程对比16线程提升3%。可以看出线程数越高速度提升就越慢了。更多的可以自己测试。
转自
Linux命令：pigz多线程压缩工具 – 运维那点事
http://www.ywnds.com/?p=10332
参考
tar+pigz+ssh实现大数据压缩传输 - 夏天公子 - 博客园
https://www.cnblogs.com/chenglee/p/7161274.html