神经网络卡住了答案

【问题标题】：Neural Network gets stuck神经网络卡住了
【发布时间】：2018-03-21 13:03:30
【问题描述】：

我正在尝试使用神经网络进行分类（我正在使用 tensorflow）。不幸的是，我的神经网络的训练被困在了 42% 的准确率上。我有 4 个类，我尝试将数据分类。不幸的是，我的数据集不是很平衡，这意味着：

我使用的优化器是 AdamOptimizer，成本函数是 tf.nn.softmax_cross_entropy_with_logits。

我想知道我的训练卡在 42% 的原因是否真的是因为我的数据集没有很好地平衡，或者因为数据的性质真的是随机的，并且真的找不到模式.

目前我的神经网络包括：

我尝试改变网络的这种结构，但结果总是一样的。我还尝试了支持向量分类，结果几乎相同，只是变化很小。

有没有其他人遇到过类似的问题？谁能给我一些提示如何摆脱这个问题？

谢谢，杰拉德

【问题讨论】：

【解决方案1】：

我假设您已经双重、三重和四重检查输入的数据是否符合您的预期。

这个问题非常开放，甚至是一个研究课题。但是有些事情可以提供帮助。

就更好的训练而言，人们使用不平衡数据集训练神经网络有两种常规方法。

话虽如此，如果你的学习率很好，神经网络通常最终会（在坐在那里几个小时之后）跳出只预测一个类，但它们仍然很少以严重倾斜的数据集结束。

如果您想知道您的数据中是否有模式可以确定，有一种简单的方法可以做到这一点。

通过从所有类中随机选择元素来创建一个新数据集，这样您就拥有偶数个元素（即，如果有 700 个第 4 类的示例，则通过从每个类中随机选择 700 个示例来构建一个数据集）

然后你可以在这个新数据集上使用你所有的技术。

虽然，this paper 建议即使使用随机标签，它也应该能够找到一些它可以理解的模式。

【讨论】：

【解决方案2】：

首先你应该检查你的模型是过拟合还是欠拟合，这两种情况都可能导致准确率低。检查训练集和开发集的准确率，如果训练集的准确率远高于开发/测试集，则模型可能过拟合，如果训练集的准确率与开发/测试集的准确率一样低，则可能欠拟合。

至于过拟合，更多数据或更简单的学习结构可能会起作用，而使你的结构更复杂，更长的训练时间可能会解决欠拟合问题

【讨论】：