ICCV 2019 论文速读

知识蒸馏（Teacher & Student）

• Learning Lightweight Lane Detection CNNs by Self Attention Distillation

  利用层与层之间的促进关系，相当于逼着前面的层与后面层的输出结果相似，加上distillation到loss目标函数中，有点teacher vs student 的思想，将冗余的大网络精简为小网络。self attention, 自我促进。