1 引言
模型移动端应用部署不得不面对模型压缩问题，我们希望能够用一个较小的模型代替大模型，其能够接近大模型的结果。有几种理解方式：
- 底层处理快一点，比如矩阵计算等，想办法让其快一点，可以改变一11的卷积为33的卷积、矩阵稀疏乘法、减枝、残差网络结构、SVD分解等一些方法的引入
- teacher-student策略，teacher已经用大半辈子学习告诉你结果了(如下图函数），student是否可以用一年找一个小模型去逼近结果，类似于读研究生，老师基本完成了主要工作，你只需要将其主要思想表达和完善。这里提到了完善，所以有可能结果会更好
2 模型压缩
3 知识蒸馏
参考文献
[1] 李宏毅的课程