神经网络解决 AND

Question

我正在实施一种反向传播算法。最初，我致力于训练我的网络以解决 XOR，以在将其用于我的设计之前验证它是否正常工作。阅读this 后，我决定先训练它解决与门。我使用 sigmoid 作为传递函数和 MSE 来计算总误差。我使用了介于 0.01 和 0.5 之间的不同学习率。我每次对网络进行几次不同的迭代训练，从 100 次迭代到 1000 次迭代。我得到的最小总误差是 0.08。这是可接受的错误吗？

我的第二个问题，我应该使用阈值而不是 sigmoid 来解决与门吗？如果是，合适的阈值是多少？

第三，我是否应该对初始权重设置一个限制，例如在 -1 和 1 之间？

提前致谢。

编辑 1

我认为输出很奇怪 这是第一次迭代后的输出：

Target: 0.0 Output: 0.5314680723170211
Target: 0.0 Output: 0.7098671414869142
Target: 0.0 Output: 0.625565435381579
Target: 1.0 Output: 0.7827456263767251

以及第 400 次迭代后的输出：

Target: 0.0 Output: 0.2826892072063843
Target: 0.0 Output: 0.4596476713717095
Target: 0.0 Output: 0.3675222634971935
Target: 1.0 Output: 0.5563197014845178

编辑 2

这是我的代码中进行反向传播的部分：

   for( int i=0;i< currentLayer.getSize();i++)
        {
                temp = currentLayer.getAt(i);
                err=temp.getOutput()*(1-temp.getOutput())*outErr[i];
                temp.setError(roundTwoDecimals(err));
        }

        for ( int i=0;i<currentLayer.getSize();i++)
        {
            temp = currentLayer.getAt(i); // get a neuron at the output layer
            // update the connections
                for (int j=0 ;j<temp.getInConnections().size();j++)
                {
                    inputCon= temp.getInputConnectionAt(j);

                    newW=inputCon.getWeight()+ inputCon.getDst().getError()*inputCon.getInput()*this.learningRate;

                    inputCon.setWeight(roundTwoDecimals(newW));
                }
                // now update the bias
                temp.setBias(temp.getBias()+(this.learningRate*temp.getError()));
        }

Answer 1

0.08 相当低，但 AND 应该是完全可解的，这意味着 0 的错误应该是可能的。您的迭代次数和学习率似乎也很合理。你的网络拓扑是什么？是否包含偏置节点？

标准反向传播算法通常不能很好地处理阈值，这就是它们通常不被使用的原因。如果您想尝试将其作为调试测试，您可以使用感知器训练规则和 0.5 的阈值（这是相当标准的）。

是的，将初始权重限制在 -1 和 1 之间可能是个好主意。对于简单的逻辑任务，人们通常根本不允许权重超出该范围，尽管原则上我认为这不是问题。