【问题标题】:Keras based neural network not training基于 Keras 的神经网络未训练
【发布时间】:2017-11-27 00:53:12
【问题描述】:

我正在使用 Keras 库训练这个非常简单的神经网络。

由于 epochs 数不均匀,NN 无法正确预测,即使是在训练集中覆盖的情况。

我在这里做错了什么。

from keras.models import Sequential
from keras.layers import Dense, Activation
from keras import optimizers
import numpy as np

model = Sequential()
model.add(Dense(3, input_dim=3))
model.add(Activation('sigmoid'))
model.add(Dense(3, activation='softmax'))

sgd = optimizers.SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)

model.compile(optimizer=sgd,
              loss='categorical_crossentropy',
              metrics=['accuracy'])


inputData=[[0,0,1],[0,1,0],[1,0,0]]
outputData=[[0,0,1],[0,1,0],[1,0,0]]

numpy_input=np.array(inputData).reshape(len(inputData),3)
numpy_output=np.array(outputData).reshape(len(inputData),3)

model.fit(numpy_input, numpy_output, nb_epoch=20, batch_size=3,verbose=1)

op=model.predict(np.array([0,0,1]).reshape(1,3))
print op

我得到的输出是 [[ 0.41825652 0.32675183 0.25499159]] 和许多其他变体。

【问题讨论】:

    标签: machine-learning neural-network keras


    【解决方案1】:

    试试这个

    from keras.models import Sequential
    from keras.layers import Dense, Activation
    from keras import optimizers
    import numpy as np
    
    model = Sequential()
    model.add(Dense(3, input_dim=3))
    model.add(Activation('sigmoid'))
    model.add(Dense(3, activation='softmax'))
    
    sgd = optimizers.SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
    
    model.compile(optimizer=sgd,
              loss='categorical_crossentropy',
              metrics=['accuracy'])
    
    
    inputData=[[0,0,1],[0,1,0],[1,0,0]]
    outputData=[[0,0,1],[0,1,0],[1,0,0]]
    
    numpy_input=np.array(inputData)
    numpy_output=np.array(outputData)
    
    model.fit(numpy_input, numpy_output, nb_epoch=50, batch_size=3,verbose=1)
    
    op=model.predict(np.array([[0,0,1]]))
    print(op)
    

    这会在我的机器中产生

    [[ 0.30640799  0.34553316  0.34805891]]
    

    建议输出为 0 0 1

    【讨论】:

      【解决方案2】:

      您的主要问题是您没有运行足够的时间(nb_epoch=20 太低):

      Epoch 20/20
      3/3 [==============================] - 0s - loss: 1.1682 - acc: 0.3333
      [[ 0.2559461   0.40617985  0.33787408]]
      

      显然这还不够好,让我们看看更多的 epoch 是否会帮助我们收敛。经过反复试验,似乎至少需要 250 个 epoch 才能获得所需的输出:

      Epoch 250/250
      3/3 [==============================] - 0s - loss: 0.5997 - acc: 1.0000
      [[ 0.06680837  0.27412242  0.65906924]]
      

      它似乎确实收敛了,因为在 500 或 2000 个 epoch 之后它更接近了

      Epoch 500/500
      3/3 [==============================] - 0s - loss: 0.1502 - acc: 1.0000
      [[ 0.06663816  0.04986271  0.88349915]]
      
      
      Epoch 2000/2000
      3/3 [==============================] - 0s - loss: 0.0197 - acc: 1.0000
      [[ 0.01536902  0.01592613  0.96870482]]
      

      如果不清楚,我对您的代码所做的唯一更改是nb_epoch=250。 请注意,低至 50 的值有时会给出 1.0 的准确度,但在运行期间并不稳定。对我来说 250 是稳定的。

      尝试使用 ReLU 代替 Sigmoid:

      @Marcin Możejko 建议我们在您的示例中使用 ReLU 而不是 Sigmoid,在 250 个时期我得到的结果好坏参半

      Epoch 250/250
      3/3 [==============================] - 0s - loss: 0.3139 - acc: 1.0000
      [[ 0.22046153  0.14507896  0.6344595 ]]
      
      Epoch 250/250
      3/3 [==============================] - 0s - loss: 0.4994 - acc: 0.6667
      [[ 0.04885471  0.47655082  0.47459444]]
      

      有时它会很好地收敛到 0 和 1

      Epoch 250/250
      3/3 [==============================] - 0s - loss: 0.0189 - acc: 1.0000
      [[ 0.00779702  0.00919682  0.98300618]]
      

      使用 500 个 epoch 和 ReLU,我得到了稳定的结果

      Epoch 500/500
      3/3 [==============================] - 0s - loss: 0.0263 - acc: 1.0000
      [[ 0.0309988   0.03392733  0.93507391]]
      

      因此,ReLU 似乎确实比具有相同 epoch 的 sigmoid 提供了更好的结果。

      【讨论】:

      • 原来keras随机数的初始化存在问题。
      • 所以事实证明 keras 随机数的初始化存在问题。我刚刚添加了 np.random.seed(7) ,现在我得到了正确的所有输出。我尝试了许多其他种子值。对于少至 20 个的 epoch,它仍然给出正确的结果。
      猜你喜欢
      • 2011-04-07
      • 1970-01-01
      • 2017-02-20
      • 2018-07-25
      • 2019-12-17
      • 1970-01-01
      • 2010-11-20
      • 2019-09-15
      • 1970-01-01
      相关资源
      最近更新 更多