主要分三个手段：
- 低秩近似：image2col可以转成矩阵，训练得到权重矩阵，对权重矩阵先SVD分解（特点：对角线上特征值越来越小），将后面较小的几位去掉。（SVD近似,KPSVD近似）。张量分解：比较work的代表，cp分解（应用：xception）
- 稀疏近似（将大部分都变成0）：拿出权重看一下分布情况，发现权重数值大部分是以0为均值的高斯分布（但是不是0）。掩膜将一小比例部分权重数值强制为0不再更新。一般能压缩到原来一半，但是cpu依然不够跑
- 量化quantization： effective quantization methods for recurrent neural networks 2016
- 神经网络参数的量化：模型权重直接变小
- 激活也量化：推断变块
- 梯度也给量化：反向传播加速，减少training时间