为什么要NetWork Compression？
因为一些小的设备上只有有限的存储空间，有限的power，。。。
所以要将network compression才能放到这些设备上面
network compression的outline：
一、network purning
network有多余的参数，将这些多余的参数减掉，实现network的compression
大的network更容易优化：
lottery ticket hypothesis:
另一篇paper：
实际中的问题：
在删掉一些weights之后，newwork的架构变得不规则，不方便实现
解决办法：
一个neuron整体删掉：
二、Konwledge Distillation
用小的network去模拟大的network：
一个技巧：
同除一个参数T
三、Parameter Quantization
四、Architecture Design
在中间插入linear的一层，使参数减少：
五、Dynamic Computaion
根据需要，动态地选取中间的一些过程量作为output结果