【问题标题】:deeplearning4j embedding layer weight updatedeeplearning4j 嵌入层权重更新
【发布时间】:2017-08-24 22:58:53
【问题描述】:

我需要使用嵌入层对词向量进行编码,因此嵌入层的权重本质上就是词向量。显然,我不希望在这种情况下的权重在反向传播期间被更新。我的问题是,如果按设计嵌入层已经禁止权重更新,还是我必须做一些特别的事情?

【问题讨论】:

    标签: deeplearning4j


    【解决方案1】:

    在这里看一个老问题,

    https://github.com/deeplearning4j/deeplearning4j/issues/3118

    我认为满足我需要的一种方法是将学习率和偏差设置为 0,即.biasInit(0.0).learningRate(0.0),尽管我认为更好的方法(也从上面的链接中提出)是使用冻结层包裹它?

    编辑: 我想我最终会得到如下解决方案,

    new FrozenLayer.Builder().layer(new EmbeddingLayer.Builder().nIn(nIn).nOut(nOut).activate(Activate.IDENTITY).biasInit(0.0).build()).build()
    

    【讨论】:

      猜你喜欢
      • 2017-10-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-06-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多