这篇文章的内容属于模型压缩范畴中权值的量化、共享。传统的权值量化存在两个不可忽视的问题：
- non-negligiable accuracy loss
- the increased number of training iterations for ensuring convergence
这篇文章认为这些应该归结为传统的方法都试图一次性的去量化网络，俗语说“心急吃不了热豆腐”。针对这个问题，文章作者提出了一种渐进的量化方式：incremenental network quantization（INQ），其量化步骤如下：
这个创新点很有趣，不知道作者是怎么想出来的，我很佩服。INQ的算法步骤如下：
- 寻找一个已训练好的网络模型
- 量化50%的权值，并re-training剩下50%的权值以保证精度
- 量化75%的权值，并re-training剩下25%值以保证精度
- 量化最后25%的权值
从结果上来看，这种量化方式是成功的，在AlexNet，VGG16，GoogleNet，ResNet18和ResNet50上的5bit量化都c有精度损失。
此外，作者还将这种方法运用到我上一篇文章介绍过的Deep Compression中，证明了INQ的优秀：
最后，文章还用这种方法探索了不同bit数网络的精度值，结果很有趣，值得一步研究：
总结：
这是一篇我很喜欢的文章，因为其方法的简单而有效。改进的地方还是有，比如在每次将权重值分块的时候的策略和最后一次量化的方式的改进等。