【时间】2019.11.05
【题目】对抗防御概述与相关
资讯，提到了现有的一些对抗样本防御方法。
资源汇总：Awesome Knowledge Distillation
1）防御性蒸馏
思路是：Papernot等人在其论文《Distillationas a defense to adversarial perturbations against deep neural networks》中将distillation技术用于对抗样本的防护。具体做法是将第一个深度神经网络输出的分类可能性结果输入到第二个网络中进行训练。
ps:模型蒸馏介绍：1、趣味深度学习系列（一）：深度学习技术中的 “教师”与“学生”
2、【Knowledge Distillation】知识蒸馏总结
1）传统蒸馏方法：
论文：Hinton，2015「Distilling the Knowledge in a Neural Network」：关于Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks的理解
2）FSP蒸馏方法：
论文「A Gift from Knowledge Distillation: FastOptimization, Network Minimization and Transfer Learning」
相比传统的蒸馏方法直接用小模型去拟合大模型产生的soft target，论文尝试用小模型去拟合大模型不同层特征之间的转换关系（flow of the solution procedure），用一个 FSP 矩阵（特征的内积）来表示不同层特征之间的关系