如何在前馈神经网络中鼓励冒险？答案

【问题标题】：How do I encourage risk-taking in a feedfoward neural network?如何在前馈神经网络中鼓励冒险？
【发布时间】：2020-07-03 07:18:53
【问题描述】：

我正在第一次真正深入研究神经网络，我正在尝试在没有任何外部数据库的情况下构建经典的“数字识别网络”。经过一些初步测试后，我遇到了我的网络保持所有权重非常低的问题，因此输出几乎为零。我明白为什么会发生这种情况（每次程序在 10 个输出中有 9 个正确！）但显然这是我需要阻止发生的事情。

有人对我如何解决这个问题有建议吗？我正在为前馈神经网络使用 sigmoid 激活函数和交叉熵成本函数，我想知道是否有更好的选择可以让程序更显着地考虑正确数字中的错误。

【问题讨论】：

【解决方案1】：

您可以利用momentum 和learning rate 来促进对梯度下降优化算法的探索，并使用权重通过将计算得到的梯度乘以权重来提高少数类样本对损失函数的贡献。对于您的 sigmoid 激活函数和交叉熵成本函数，您可以像 this 一样实现它。

标签 * -log(sigmoid(logits)) * pos_weight + (1 - 标签) * -log(1 - sigmoid(logits))

【讨论】：