【问题标题】:Multiple pretrained networks in CaffeCaffe 中的多个预训练网络
【发布时间】:2016-03-31 17:33:23
【问题描述】:

是否有一种简单的方法(例如,不修改 代码)将 wights 从多个预训练网络加载到一个网络中?该网络包含一些与两个预训练网络具有相同维度和名称的层。

我正在尝试使用 NVidia DIGITS 和 Caffe 来实现这一目标。

编辑:我认为不可能直接从 DIGITS 执行此操作,正如答案所证实的那样。谁能建议一种简单的方法来修改 DIGITS 代码以便能够选择多个预训练网络?我检查了一下代码,并认为training script 是一个很好的起点,但我对 Caffe 没有深入的了解,所以我不确定实现这一目标的最佳/最快方法是什么是。

【问题讨论】:

    标签: caffe deep-learning caffe conv-neural-network pycaffe nvidia-digits


    【解决方案1】:

    AFAIK 没有直接的方法。
    但是,您可以使用net surgery 加载预训练模型并手动将它们的权重分配给目标网络。一旦你有了一个根据各种预训练模型初始化所有权重的网络,你就可以保存它并将其作为一个预训练模型用于你的其余工作。

    【讨论】:

    • 这是怎么做的......一个NN模型只是一堆权重,所以你需要做的就是复制它们并保存它。不过祝你好运……如果你从不同的网络复制图层,它们可能无法很好地协同工作。而且数字是相当高的水平......你需要进入python或c ++才能完成它。
    • 有没有一种简单的方法可以将其合并到 DIGITS 代码中(我编辑了问题)?
    • @IgorŠevo 如果你打算多次尝试这个技巧,你可以考虑改变 DIGITS 的训练脚本。但是,我认为如果您只打算这样做一两次,您最好使用“网络手术”手动进行。
    • 我可能会使用不同的架构多次执行此操作,所以我需要一些更高级的东西。
    • 我可能会使用您建议的“网络手术”并将修改后的代码添加到 DIGITS 训练脚本中。我希望 Caffe 会公开一些用于从不同网络加载权重的 API。
    【解决方案2】:

    正如 Shai 建议的那样,没有办法做到这一点,所以我决定克隆官方存储库并进行适当的更改。我更改了代码,以便可以使用冒号作为分隔符来加载多个预训练网络。

    我在官方存储库上创建了一个拉取请求,然后我的更改与 DIGITS 的主分支合并,这意味着现在可以在 DIGITS 中使用此功能。

    【讨论】:

    • 您是否向 BVLC/caffe 存储库提出过类似的拉取请求?
    • 您可以通过caffe 使用--weights 参数来执行此操作,用逗号分隔不同的网络。
    猜你喜欢
    • 2016-02-19
    • 2017-09-07
    • 2016-09-28
    • 1970-01-01
    • 1970-01-01
    • 2017-05-23
    • 2016-05-27
    • 1970-01-01
    • 2016-11-24
    相关资源
    最近更新 更多