【发布时间】:2017-01-11 16:08:51
【问题描述】:
我有一个具有两个相似分支的多任务网络和一个只有一个分支的预训练网络(这也是相同的)。 我想用我的预训练网络中层的权重来初始化两个分支(在我的多任务网络中)中层的权重。
现在,我可以通过使用与预训练网络中的层相同的名称来正确初始化其中一个分支。 但是,我必须保持另一个分支中层的名称不同,因此这些层不会采用预训练的权重。
另外,我不想共享两个分支的权重。所以,给两个分支中对应层的权重命名是行不通的。
有没有很好的方法/黑客来做到这一点?
PS:我想避免网络手术,但也欢迎任何 cmet 解释一个很好的方法。
澄清:我只想用相同的权重初始化两个分支。它们可以在训练阶段学习不同的权重,因为它们受不同的损失层控制。
【问题讨论】:
-
用网络手术做:第一次只怕,以后你就是外科医生了!
标签: machine-learning initialization neural-network deep-learning caffe