【问题标题】:Use a Pre-trained Network(1 branch) to initialize weights of layers in a Network with 2 branches in caffe使用预训练网络(1 个分支)在 caffe 中有 2 个分支的网络中初始化层的权重
【发布时间】:2017-01-11 16:08:51
【问题描述】:

我有一个具有两个相似分支的多任务网络和一个只有一个分支的预训练网络(这也是相同的)。 我想用我的预训练网络中层的权重来初始化两个分支(在我的多任务网络中)中层的权重。

现在,我可以通过使用与预训练网络中的层相同的名称来正确初始化其中一个分支。 但是,我必须保持另一个分支中层的名称不同,因此这些层不会采用预训练的权重。

另外,我不想共享两个分支的权重。所以,给两个分支中对应层的权重命名是行不通的。

有没有很好的方法/黑客来做到这一点?

PS:我想避免网络手术,但也欢迎任何 cmet 解释一个很好的方法。

澄清:我只想用相同的权重初始化两个分支。它们可以在训练阶段学习不同的权重,因为它们受不同的损失层控制。

【问题讨论】:

  • 用网络手术做:第一次只怕,以后你就是外科医生了!

标签: machine-learning initialization neural-network deep-learning caffe


【解决方案1】:

Przemak D 的 answer 是完成上述操作的好方法。

  1. 为两个分支中的层赋予不同的名称并启用权重共享
  2. 初始化网络并训练 1-2 次迭代
  3. 然后使用步骤 2 后获得的 caffemodel 训练原始网络(不共享权重)初始化权重。

以上是一个不错的 hack,但网络手术是更好的方法。

【讨论】:

  • “但是网络手术是更好的方法”。不多说了。
猜你喜欢
  • 2016-03-31
  • 2017-01-06
  • 1970-01-01
  • 2017-09-07
  • 2018-01-26
  • 2018-10-15
  • 1970-01-01
  • 2018-07-21
  • 2020-04-08
相关资源
最近更新 更多