Zeng G, Yang X, Li J, et al. 3D U-net with Multi-level Deep Supervision: Fully Automatic Segmentation of Proximal Femur in 3D MR Images[C]// International Workshop on Machine Learning in Medical Imaging. Springer, Cham, 2017:274-282.
本篇文章可以借鉴的点:
- 误差的计算引入来自不同deconv层的(或许能减轻梯度消失的问题,但是有可能根本就不存在这个问题,因为文中的层数并不算多,相对于vgg,resnet等,在文中如果比较了引入不同层的误差和只用outmap层的误差,会更有说服力)
- 找到了一个之前训练好的模型来初始化conv path的参数,但从结果来看,并没有显著地提高。
不足:
结果展示中10个选择的patch怎么保证具有代表性呢?
迁移学习和引入不同层的误差都不是本文作者提出来的
补充:梯度消失或者梯度爆炸问题,在反向传播的过程中,根据链式法则,随着层数的增加,如果中间层的**函数的偏导都小于1,那可能会出现梯度消失,如果大于1,可能会出现梯度爆炸。
所以,在靠近输入层的地方,甚至会出现连续训练几轮后值还和初始化的值差不多的情况,这便是出现了梯度消失的情况。