【发布时间】：2020-10-09 14:20:48
【问题描述】：
我想用 RNN 模型/LSTM 改进 MNIST 手写模型 .. 有没有人尝试过对 RNN 进行修改 .. 如果是的话，我可以通过哪些不同的方式来改进模型 .. 请建议
【问题讨论】：
标签： deep-learning data-science recurrent-neural-network
【发布时间】：2020-10-09 14:20:48
【问题描述】：
您可以执行一种称为计划采样的操作。 RNN 和生成模型的一个主要问题是，在训练期间，它们没有根据自己的预测进行训练。相反，他们接受了金标签的培训。在推理期间，没有可用的黄金标签，并且模型被馈送到它自己的世代。这是模型以前没有做过的事情，如果模型在生成阶段开始时犯了错误，它更有可能犯更多的错误。
这个想法是允许模型使用衰减参数逐渐在其自己的输出上进行训练，这增加了预测令牌被输入 RNN 而不是黄金标签的概率。
您可以在本文中阅读：Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
【讨论】：
-
感谢您的指导..我会尝试同样的
-
BiLstms 也是你应该研究的东西。