在额外的训练数据上训练训练有素的 seq2seq 模型答案

【问题标题】：Training trained seq2seq model on additional training data在额外的训练数据上训练训练有素的 seq2seq 模型
【发布时间】：2018-05-01 01:36:10
【问题描述】：

我已经用 1M 样本训练了一个 seq2seq 模型并保存了最新的检查点。现在，我有一些额外的 50K 句子对的训练数据，这在以前的训练数据中是没有的。如何在不从头开始训练的情况下使当前模型适应这些新数据？

【问题讨论】：

【解决方案1】：

您不必重新运行整个网络初始化。您可以运行incremental training。

通过预训练参数进行训练

另一个用例是使用基本模型并使用新的训练选项（特别是优化方法和学习率）进一步训练它。使用 -train_from 而不使用 -continue 将使用从预训练模型初始化的参数开始新的训练。

记得像标记前一个语料一样标记你的 50K 语料库。

此外，您不必使用从 OpenNMT 0.9 开始的相同词汇表。请参阅Updating the vocabularies 部分并使用适当的值和-update_vocab 选项。

【讨论】：

此外，Problem with incremental/in-domain training 论坛主题可能很有趣，请注意词汇部分现在有点过时了，因为您可以通过增量训练使用新词汇。