【发布时间】：2020-04-25 10:36:24
【问题描述】：
我正在训练语音转文本模型。在第一个 epoch，WER 为 0.33，对于第二个 epoch，WER 仍然相同，但是训练损失增加了，而验证损失减少了。
除了降低学习率，还能做些什么来让模型学习，至少过拟合？
【问题讨论】：
标签： deep-learning speech-recognition speech-to-text loss
【发布时间】：2020-04-25 10:36:24
【问题描述】：
增加训练数据量，这是唯一的主要因素。与适当的架构和庞大的数据库相比，所有这些学习率和超参数都是很小的。
【讨论】：
-
好的。我正在使用 deepspeech2，所以架构应该足够好。增加数据是我接下来要做的事情。但是为什么模型没有过拟合呢？为什么火车损失增加（约 20%）？
-
Deepspeech 很老，架构不是很好，wav2letter 卷积一个要好得多。至于不过度拟合，小数据集模型收敛到局部最小值，它们可能根本无法正确收敛。您可以从 500 小时左右的数据开始合理的端到端学习。