如何让神经网络更好地泛化？

Question

我设计了一个由 softmax 函数预测的具有大量输出的神经网络模型。但是，我想在不修改其他层的架构的情况下将所有输出分类为 5 个输出。该模型在第一种情况下表现良好，但是当我减少输出数量时，它会失去准确性并得到不好的泛化。我的问题是：即使只有 5 个输出，有没有一种方法可以让我的模型表现良好？例如：在输出层之前添加dropout层，使用其他激活函数等。

Answer 1

如果它是一个普通的神经网络，那么肯定会在隐藏层中使用 RelU 激活函数，并为每个隐藏层添加 dropout 层。您还可以在将数据输入网络之前对其进行规范化。