神经网络对少数特定类别进行了大量分类

Question

我正在对电影评论数据集执行情感分析。神经网络是一个单隐藏层 NN，用 Python 从头开始​​制作。分类器应为每个评论短语分配五个类别（0 到 4）之一。然而，在训练时，开发集的混淆矩阵给出了以下结果：

这意味着分类器严重偏向于 0 类和 4 类。可能的原因是什么？ 之前的分类器总是只预测第 2 类，因为数据集是倾斜的（约 50% 的数据来自第 2 类）。因此，我选择了数据集的一个子集，其中包含来自所有 5 个类的相同数量的示例。我仍然不明白输出和低精度。 可以找到我笔记本的链接here

Answer 1

首先你的模型是线性的，只有一层。所以它的简单模型可能不会产生好的结果，请尝试增加层数。

你的训练成本也很高，你必须训练更多的epoch，直到你得到好的训练成本。这也会影响您的验证成本，这是培训成本的两倍。

这是过度拟合的标志。