【问题标题】:Tensorflow hub: restore re-trained universal sentence encoder moduleTensorflow hub:恢复重新训练的通用句子编码器模块
【发布时间】:2018-08-10 16:18:55
【问题描述】:

我一直在尝试重新训练通用句子编码器模块 (use),但我似乎无法从任何更新/重新训练的模块权重生成新的嵌入。

我已关注classifier example for elmo 并将其替换为使用模块。分类器工作我似乎无法弄清楚如何访问新模块embeddings。我可以恢复保存的模型,但不确定我实际上是如何调用嵌入函数的?
例如,之前我设置路径通过

m=hub.module(path) then generate the embeddings via

m(sentences)

但是如何使用恢复的分类器模型进行此调用?请注意,我确实将参数设置为trainable=True,如示例教程中所示。

我是否只需进行相同的调用,它就会自动获取已通过分类器再训练训练的新权重? 我检查了类似的问题,但大多数都与操纵元图有关。我只想简单地使用新的权重来生成一些新的嵌入,看看它们在对其他数据进行微调后是否有所不同。 也许这是不可能的?

任何澄清将不胜感激。

【问题讨论】:

    标签: tensorflow tensorflow-hub


    【解决方案1】:

    所以我在运行分布式张量流时实际上遇到了这个问题,并且损失没有改变。

    诀窍是,当您第一次下载它时,您需要设置 trainable = True 否则权重将被锁定。

    因此,在您的情况下,使用 trainable = True 重新下载模块以解锁权重。

    【讨论】:

      猜你喜欢
      • 2019-04-11
      • 2018-07-28
      • 2019-07-14
      • 2019-12-07
      • 1970-01-01
      • 2020-08-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多