教师力量培训 PyTorch答案

【问题标题】：Teacher force training PyTorch教师力量培训 PyTorch
【发布时间】：2021-02-18 12:29:30
【问题描述】：

我正在尝试进行 seq2seq 预测。为此，我有一个 LSTM 层，然后是一个全连接层。我在培训阶段采用教师培训，并想在测试阶段跳过这个（我可能在这里错了）。我还没有找到这样做的直接方法，所以我采取了如下所示的方法。

def forward(self, inputs, future=0, teacher_force_ratio=0.2, target=None):
    outputs = []
    for idx in range(future):
        rnn_out, _ = self.rnn(inputs)
        output = self.fc1(rnn_out)
        if self.teacher_training:
            new_input = output if np.random.random() >= teacher_force_ratio else target[idx]
        else:
            new_input = output
        inputs = new_input

我使用bool 变量teacher_training 来检查是否需要教师培训。它是否正确？如果是，有没有更好的方法来做到这一点？谢谢。

【问题讨论】：

标签： python-3.x machine-learning deep-learning pytorch

【解决方案1】：

在 PyTorch 中，所有扩展 nn.Module 的类都有一个名为 training 的 kwarg 布尔参数。所以我们应该简单地使用training 参数而不是teacher_training。此参数会根据您的模型训练模式（model.train() 和 model.eval()）自动设置。

【讨论】：

def forward(self, inputs, future=0, teacher_force_ratio=0.2, target=None, **kwargs): 并使用 if self.train: 定义仅在训练时运行的代码。对吗？
是if self.training:。