稳定神经网络

Question

我正在尝试构建一个神经网络并拥有以下代码：

for i = 1:num_samples-num_reserved

        % Getting the sample and transposing it so it can be multiplied
        sample = new_data_a(:,i)';

        % Normalizing the input vector
        sample = sample/norm(sample);

        % Calculating output
        outputs = sample*connections;

        % Neuron that fired the hardest's index (I) and its output (output)
        [output, I] = max(outputs);

        % Conections leading to this neuron
        neuron_connections = connections(:,I);

        % Looping through input components
        for j = 1:num_features

            % Value of this input component
            component_input = sample(j);

            % Updating connection weights
            delta = 0.7*(component_input - neuron_connections(j));

            neuron_connections(j) = neuron_connections(j) + delta;


        end


        % Copying new connection weights into original matrix
        connections(:,I) = neuron_connections/norm(neuron_connections);

        if(rem(i,100) == 0)

            if(I == 1)

                delta_track = [delta_track connections(2,I)];

            end

        end

        % Storing current connections



    end

我认为我做的一切都是正确的。这个循环重复大约 600 次，以便逐步更新连接。我正在使用的更新权重的功能是我在教科书中找到的标准功能。

但是，当我查看存储在 delta_track 中的值时，这些值会不断振荡，形成规则模式。

有什么建议吗？

Answer 1

您可以减少反馈因素。然后网络可能需要更多时间来学习，但不太可能发生振荡。 另一种常见的技术是添加衰减，即每次迭代都减少因子。 一般来说，神经网络具有与控制系统相同的稳定性规则（因为只要神经网络正在学习它就是一个控制系统）因此类似的方法适用于例如PID 控制器。