我有一个预训练的网络（我们称之为N）我想在一个新网络中使用两次。有人知道如何复制吗？然后我想为每个副本分配不同的学习率。
例如（N1 是N 的第一个副本，N2 是N 的第二个副本），新网络可能如下所示：
N1 --> [joint ip
N2 --> layer]
我知道如何在一个副本中重复使用N，但是，由于N1 和N2 将具有不同的（微调）学习率，我不知道如何制作2 个N 的副本并为每个分配不同的学习率。
谢谢！
【问题讨论】：
标签： neural-network deep-learning caffe
使用同一网两次称为"Siamese network"。它在 caffe 中实现的方式是显式复制网络，但对每个参数 blob 使用 "name" 参数来创建底层参数的单个副本。见this prototxt for example。
两次明确定义网络后，您可以为每个副本分配不同的"lr_mult" 参数。
因此假设您的参考网络N 有一个输入层（我将在本例中跳过）和一个名为"ip1" 的内积层。那么
layer {
name: "ip1_a"
bottom: "data_a"
top: "ip1_a"
type: "InnerProduct"
inner_product_param {
num_output: 10
}
param {
name: "ip1_w" # NOTE THIS NAME!
lr_mult: 1
}
param {
name: "ip1_b"
lr_mult: 2
}
}
layer {
name: "ip1_b"
bottom: "data_b"
top: "ip1_b"
type: "InnerProduct"
inner_product_param {
num_output: 10
}
param {
name: "ip1_w" # NOTE THIS NAME: it's the same!
lr_mult: 10 # different LR for this branch
}
param {
name: "ip1_b"
lr_mult: 20
}
}
# one layer to combine them
layer {
type: "Concat"
bottom: "ip1_a"
bottom: "ip1_b"
top: "ip1_combine"
name: "concat"
}
layer {
name: "joint_ip"
type: "InnerProduct"
bottom: "ip1_combine"
top: "joint_ip"
inner_product_param {
num_output: 30
}
}
如果您进行微调，您可能需要进行一些网络手术，以便将原始 wieghts 保存在名称为 "ip1_w" 和 "ip1_b" 的 .caffemodel 文件中。
【讨论】：