1.知识蒸馏 小模型的损失中就会加上KL损失 紧致的网络设计 squeeze 先11降维 Xception结构 可以用更少的block的实现一样的效果，每个block的参数量可能变多了，所以需要对通道数做了升维 大量参数都集中在11的卷积上 shufflenet 如何把11卷积的参数和计算量省去 低秩分解 剪枝 模型量化 二值神经网络 相关文章：