全卷积网络中上采样层的“学习倍数”应该是多少？

【问题标题】：What should be the "learning multiple" of the up-sampling layers in the Fully Convolutional Network?全卷积网络中上采样层的“学习倍数”应该是多少？
【发布时间】：2017-04-10 14:43:49
【问题描述】：

我正在尝试训练一个全卷积网络 (FCN) 以进行密集预测。

paper 的作者提到：

“我们将 2 倍上采样初始化为双线性插值，但允许学习参数。”

当我阅读他们的training prototxt file 时，这些层的学习倍数零。

我是否应该将此学习倍数更改为非零值以让这些层被学习？

谢谢，

【问题讨论】：

标签： machine-learning neural-network deep-learning caffe conv-neural-network

【解决方案1】：

引用谢尔哈默的话

在 PASCAL VOC 的进一步实验中，我们发现学习插值参数几乎没有什么区别，并且固定这些权重可以稍微加快速度，因为可以跳过插值滤波器梯度。

因此，您可以通过这种方式保留lr_mult，或者如果您希望他们学习，可以将其更改为非零值。你也可以根据需要在solver.prototxt中设置lr_policy。

详情见this thread in caffe-users group

【讨论】：

谢谢lnman，如您所见，深度学习社会存在很多矛盾。 ;)