文献阅读（56）

文章目录

• 1 缩写 & 引用
• 2 abstract & introduction

• 题目：Deep Compression compressing deep neural networks with pruning, train quantization and huffman coding
• 时间：2016
• 会议：ICLR
• 研究机构：韩松
• 可以参考的博客：https://blog.csdn.net/u013082989/article/details/77915375

1 缩写 & 引用

2 abstract & introduction

提出的deep compression分三步：减枝、量化、霍夫曼编码

1. 减枝：权重小于阈值的就去掉，这样就可以用稀疏矩阵的格式如CSR和CSC来存储权重
2. 量化：利用了weight sharing，存一个对照表，这样就只需要存index而不是确定的值，实现过程用到了k-means，当然也要retrain
3. 霍夫曼编码：权重的index、稀疏矩阵的index都不是均匀的，这就适合霍夫曼压缩了