在神经网络开始在训练数据上表现可接受之前的隐藏层数、隐藏层中的单元数和历元数

Question

我正在尝试使用神经网络解决这个Kaggle Problem。我正在使用 Pybrain Python 库。

这是一个经典的监督学习问题。在以下代码中：“数据”变量是 numpy 数组（892*8）。 7 个字段是我的特征，1 个字段是我的输出值，可以是“0”或“1”。

from pybrain.datasets import ClassificationDataSet
from pybrain.supervised.trainers import BackpropTrainer
from pybrain.tools.shortcuts import buildNetwork

dataset = ClassificationDataSet(7,1)
for i in data:
    dataset.appendLinked(i[1:],i[0])
net = buildNetwork(7,9,7,1, bias = True,hiddenclass = SigmoidLayer, outclass = TanhLayer)
trainer = BackpropTrainer(net, learningrate = 0.04, momentum = 0.96, weightdecay = 0.02, verbose = True)
trainer.trainOnDataset(dataset, 8000)
trainer.testOnData(verbose = True)

训练我的神经网络后，当我在训练数据上对其进行测试时，它总是为所有输入提供一个输出。喜欢：

Testing on data:
out:     [  0.075]
correct: [  1.000]
error:  0.42767858
out:     [  0.075]
correct: [  0.000]
error:  0.00283875
out:     [  0.075]
correct: [  1.000]
error:  0.42744569
out:     [  0.077]
correct: [  1.000]
error:  0.42616996
out:     [  0.076]
correct: [  0.000]
error:  0.00291185
out:     [  0.076]
correct: [  1.000]
error:  0.42664586
out:     [  0.075]
correct: [  1.000]
error:  0.42800026
out:     [  0.076]
correct: [  1.000]
error:  0.42719380
out:     [  0.076]
correct: [  0.000]
error:  0.00286796
out:     [  0.076]
correct: [  0.000]
error:  0.00286642
out:     [  0.076]
correct: [  1.000]
error:  0.42696969
out:     [  0.076]
correct: [  0.000]
error:  0.00292401
out:     [  0.074]
correct: [  0.000]
error:  0.00274975
out:     [  0.076]
correct: [  0.000]
error:  0.00286129

我尝试改变 learningRate、weightDecay、动量、隐藏单元的数量、隐藏层的数量、隐藏层的类别、输出层的类别以便解决它，但在每种情况下，如果输入，它会为每个输入提供相同的输出来自训练数据。

我认为我应该运行它超过 8000 次，因为当我为“异或”构建神经网络时，它至少需要 700 次迭代才能开始给出纳米级的错误。 'XOR' 上的训练数据大小仅为 4，而在本例中为 892。所以我在 10% 的原始数据上运行了 8000 次迭代（现在训练数据的大小为 89），即使这样它为每个输入提供相同的输出在训练数据中。而且由于我想将输入分类为'0'或'1'，如果我使用输出层的类作为Softmax，那么它总是给出'1'作为输出。

无论我在“异或”中使用哪种配置（隐藏单元的数量、输出层的类别、学习率、隐藏层的类别、动量），它在每种情况下都或多或少地开始收敛。

有可能某些配置最终会产生较低的错误率。至少进行一些配置，这样它就不会为训练数据中的所有输入提供相同的输出。

我运行了 80,000 次迭代（训练数据大小为 89）。输出样本：

Testing on data:
out:     [  0.340]
correct: [  0.000]
error:  0.05772102
out:     [  0.399]
correct: [  0.000]
error:  0.07954010
out:     [  0.478]
correct: [  1.000]
error:  0.13600274
out:     [  0.347]
correct: [  0.000]
error:  0.06013008
out:     [  0.500]
correct: [  0.000]
error:  0.12497886
out:     [  0.468]
correct: [  1.000]
error:  0.14177601
out:     [  0.377]
correct: [  0.000]
error:  0.07112816
out:     [  0.349]
correct: [  0.000]
error:  0.06100758
out:     [  0.380]
correct: [  1.000]
error:  0.19237095
out:     [  0.362]
correct: [  0.000]
error:  0.06557341
out:     [  0.335]
correct: [  0.000]
error:  0.05607577
out:     [  0.381]
correct: [  0.000]
error:  0.07247926
out:     [  0.355]
correct: [  1.000]
error:  0.20832669
out:     [  0.382]
correct: [  1.000]
error:  0.19116165
out:     [  0.440]
correct: [  0.000]
error:  0.09663233
out:     [  0.336]
correct: [  0.000]
error:  0.05632861

平均误差：0.112558819082

('最大误差：'，0.21803000849096299，'中值误差：'，0.096632332865968451)

它给出范围内的所有输出(0.33, 0.5)。

Answer 1

还有另一个神经网络指标，你没有提到 - 自适应权重的数量。我从这个开始回答，因为它与隐藏层的数量和其中的单元有关。

为了更好的泛化，权重的数量必须比 Np/Ny 少得多，其中 Np 是模式的数量，Ny 是净输出的数量。究竟什么是“多”是可以讨论的，我建议相差几倍，比如 10。对于您的任务中大约 1000 个模式和 1 个输出，这将意味着 100 个权重。

使用 2 个隐藏层没有意义。对于大多数涉及非线性的任务，1 就足够了。在您的情况下，额外的隐藏层只会通过影响整体性能来发挥作用。因此，如果使用 1 个隐藏层，则其中的神经元数量可以近似为权重数量除以输入数量，即 100/7 = 14。

我建议在所有神经元中使用相同的激活函数，无论是 Hypertanh 还是 Sigmoid。您的输出值实际上已经针对 Sigmoid 进行了标准化。无论如何，您可以通过输入数据归一化以适应所有维度的 [0,1] 来提高 NN 性能。当然，请自行规范化每个特征。

如果您可以使用 Pybrain 库，则以更高的学习率开始学习，然后与当前步骤 (LR * (N - i)/N) 成比例地平滑减小，其中 i 是当前步骤，N - 是限制，LR - 初始学习率。

正如@Junuxx 建议的那样，每 M 步输出当前错误（如果可能的话），以确保您的程序按预期工作。如果连续步骤中的错误差异小于阈值，则停止学习。只是为了开始和粗略估计适当的 NN 参数选择，将阈值设置为 0.1-0.01（“纳米尺度”中不需要）。

以 80000 步在 89 种模式上运行网络并获得您所拥有的结果的事实很奇怪。请仔细检查您将正确的数据传递给 NN，并检查您提供的错误值是什么意思。显示的错误或输出可能来自错误的位置。我认为 10000 步必须足够远才能获得 89 种模式的可接受结果。

至于具体任务，我认为 SOM net 可能是另一种选择（可能比 BP 更适合）。

作为旁注，我不熟悉 Pybrain，但我用 C++ 和其他语言编写了一些 NN，所以你的时间看起来非常大。