【问题标题】:Improve accuracy on convolutional neural network提高卷积神经网络的准确性
【发布时间】:2016-08-02 06:42:38
【问题描述】:

我正在尝试训练卷积神经网络对句子进行分类。我从here获取代码

代码在我的一个数据集中运行良好。但是,在另一个数据集上,它的性能很差。两个数据集在数量和句子长度方面具有可比性。对于性能较差的数据集,我注意到损失函数在步骤之后会减小。这里蓝色用于训练集,读取用于测试集。

这是准确度: 如您所见,测试集上的损失值减少了,但准确度值几乎相同。 你能建议我如何解决它吗? 非常感谢。

【问题讨论】:

  • 您在每个数据集中有多少个类别标签,每个类别之间的文本性质有何不同?
  • @jmp 对于这两个数据集,类数都是 4。实际上,这两个数据集都是从 twitter 收集的推文。性能好的数据集是我自己通过twitter流API创建的,另一个来自网站。不同之处在于我不使用任何过滤器来消除来自自动机器人的推文,例如天气或招聘。对于来自网站的数据集,他们只保留普通人的推文。两个数据集具有几乎相同数量的示例,我应用了相同的预处理技术。

标签: neural-network tensorflow conv-neural-network tensorboard


【解决方案1】:

您可以尝试使用较小的学习率吗?

【讨论】:

  • 我当前使用的学习率是 1e-4 和 Adam 优化器。我用 1e-5 试过了,现在收敛速度很慢。
  • 听起来不错。你可以把它做得更大一点,让它更快。请告诉我们进展如何。
【解决方案2】:

尝试使用指数衰减的学习率——一开始很大(比如 0.1),然后在迭代中变慢。

【讨论】:

    猜你喜欢
    • 2017-11-17
    • 1970-01-01
    • 2018-01-10
    • 2017-09-06
    • 2017-08-05
    • 2017-01-01
    • 1970-01-01
    相关资源
    最近更新 更多