为什么我的 XOR 神经网络收敛到 0.5，python

Question

我已经实现了以下神经网络来解决 Python 中的 XOR 问题。我的神经网络由 2 个神经元的输入层、2 个神经元的 1 个隐藏层和 1 个神经元的输出层组成。我使用 Sigmoid 函数作为隐藏层和输出层的激活函数。谁能解释一下我做错了什么。

import numpy
import scipy.special

class NeuralNetwork:
    def __init__(self, inputNodes, hiddenNodes, outputNodes, learningRate):
        self.iNodes = inputNodes
        self.hNodes = hiddenNodes
        self.oNodes = outputNodes

        self.wIH = numpy.random.normal(0.0, pow(self.iNodes, -0.5), (self.hNodes, self.iNodes))
        self.wOH = numpy.random.normal(0.0, pow(self.hNodes, -0.5), (self.oNodes, self.hNodes))

        self.lr = learningRate

        self.activationFunction = lambda x: scipy.special.expit(x)

    def train(self, inputList, targetList):
        inputs = numpy.array(inputList, ndmin=2).T
        targets = numpy.array(targetList, ndmin=2).T

        #print(inputs, targets)
        hiddenInputs = numpy.dot(self.wIH, inputs)
        hiddenOutputs = self.activationFunction(hiddenInputs)

        finalInputs = numpy.dot(self.wOH, hiddenOutputs)
        finalOutputs = self.activationFunction(finalInputs)

        outputErrors = targets - finalOutputs

        hiddenErrors = numpy.dot(self.wOH.T, outputErrors)

        self.wOH += self.lr * numpy.dot((outputErrors * finalOutputs * (1.0 - finalOutputs)), numpy.transpose(hiddenOutputs))
        self.wIH += self.lr * numpy.dot((hiddenErrors * hiddenOutputs * (1.0 - hiddenOutputs)), numpy.transpose(inputs))

    def query(self, inputList):
        inputs = numpy.array(inputList, ndmin=2).T

        hiddenInputs = numpy.dot(self.wIH, inputs)
        hiddenOutputs = self.activationFunction(hiddenInputs)

        finalInputs = numpy.dot(self.wOH, hiddenOutputs)
        finalOutputs = self.activationFunction(finalInputs)

        return finalOutputs



nn = NeuralNetwork(2, 2, 1, 0.01)

data = [[0, 0, 0], [0, 1, 1], [1, 0, 1], [1, 1, 0]]
epochs = 10

for e in range(epochs):
    for record in data:
        inputs = numpy.asfarray(record[1:])
        targets = record[0]
        #print(targets)
        #print(inputs, targets)
        nn.train(inputs, targets)


print(nn.query([0, 0]))
print(nn.query([1, 0]))
print(nn.query([0, 1]))
print(nn.query([1, 1]))

Answer 1

几个原因。

1. 我认为您不应该使用所有东西的激活功能，尤其是在您的查询功能中。我认为您将神经元与神经元权重（wIH 和 wOH）的概念与激活值混淆了。

2. 由于您的混乱，您错过了在训练中重新使用查询功能的想法。您应该将其视为输出的前馈激活级别，将结果与目标输出进行比较以给出一组错误，然后使用 sigmoid 函数的导数向后反馈以调整权重。

   李>

我会将函数和它的派生放入而不是从 scipy 导入，因为它们非常简单。另外“推荐”使用 tanh 和 d/dx.tanh 作为隐藏层函数（不记得为什么，这个简单的网络可能不需要）

# transfer functions
def sigmoid(x):
  return 1 / (1 + np.exp(-x))

# derivative of sigmoid
def dsigmoid(y):
  return y * (1.0 - y)

# using tanh over logistic sigmoid for the hidden layer is recommended  
def tanh(x):
  return np.tanh(x)

# derivative for tanh sigmoid
def dtanh(y):
  return 1 - y*y

最后，您也许可以在https://github.com/paddywwoof/Machine-Learning/blob/master/perceptron.py987654321@

中弄清楚我刚才使用神经网络做了什么