Keras 模型获得恒定的损失和准确性答案

【问题标题】：Keras model gets constant loss and accuracyKeras 模型获得恒定的损失和准确性
【发布时间】：2017-07-16 03:58:12
【问题描述】：

我正在尝试针对街景门牌号码数据集训练 keras CNN。您可以找到项目here。问题在于，在训练期间，损失和准确率都不会随时间变化。我尝试使用 1 通道（灰度）图像，RGB（3 通道）图像，更宽（50,50）和更小（28,28）图像，卷积层中或多或少的过滤器，更宽和更小池化层中的补丁，有和没有 dropout，批次越来越小，优化器的学习步长越来越小，使用不同的优化器，...

训练仍然停留在不断的损失和准确性

这是我准备数据的方式

from PIL import Image
from PIL import ImageFilter
train_folders = 'sv_train/train'
test_folders = 'test'
extra_folders = 'extra'
SV_IMG_SIZE = 28
SV_CHANNELS = 3
train_imsize = np.ndarray([len(train_data),2])
k = 500
sv_images = []
max_images = 20000#len(train_data)
max_digits = 5
sv_labels = np.ones([max_images, max_digits], dtype=int) * 10 # init to 10 cause it would be no digit
nboxes = [[] for i in range(max_images)]
print ("%d to load" % len(train_data))
def getBBox(i,perc):

    boxes = train_data[i]['boxes'] 
    x_min=9990
    y_min=9990
    x_max=0
    y_max=0
    for bid,b in enumerate(boxes):
        x_min = b['left'] if b['left'] <= x_min else x_min
        y_min = b['top'] if b['top'] <= y_min else y_min
        x_max = b['left']+b['width'] if  b['left']+b['width'] >= x_max else x_max
        y_max = b['top']+b['height'] if b['top']+b['height'] >= y_max else y_max

    dy = y_max-y_min
    dx = x_max-x_min
    dpy = dy*perc
    dpx = dx*perc
    nboxes[i]=[dpx,dpy,dx,dy]
    return x_min-dpx, y_min-dpy, x_max+dpx, y_max+dpy

for i in range(max_images):
    print (" \r%d" % i ,end="")
    filename = train_data[i]['filename']
    fullname = os.path.join(train_folders, filename)
    boxes = train_data[i]['boxes']
    label = [10,10,10,10,10]
    lb = len(boxes)
    if lb <= max_digits:
        im = Image.open(fullname)
        x_min, y_min, x_max, y_max = getBBox(i,0.3)
        im = im.crop([x_min,y_min,x_max,y_max])
        owidth, oheight = im.size
        wr = SV_IMG_SIZE/float(owidth)
        hr = SV_IMG_SIZE/float(oheight)
        for bid,box in  enumerate(boxes):
            sv_labels[i][max_digits-lb+bid] = int(box['label'])

        box = nboxes[i]
        box[0]*=wr
        box[1]*=wr
        box[2]*=hr
        box[3]*=hr
        im = im.resize((SV_IMG_SIZE,SV_IMG_SIZE),Image.ANTIALIAS)
        array = np.asarray(im)
        array =  array.reshape((SV_IMG_SIZE,SV_IMG_SIZE,SV_CHANNELS)).astype(np.float32)
        na = np.zeros([SV_IMG_SIZE,SV_IMG_SIZE,SV_CHANNELS],dtype=int)
        sv_images.append(array.astype(np.float32))

这是模型

from keras.optimizers import Adam
from keras.utils.np_utils import to_categorical

adam = Adam(lr=0.5)

model = Sequential()
x = Input((SV_IMG_SIZE, SV_IMG_SIZE,SV_CHANNELS))

y = Convolution2D(16, 3, 3, activation='relu', border_mode='same')(x)
y = Convolution2D(32, 3, 3, activation='relu', border_mode='valid')(y)
y = MaxPooling2D((2, 2))(y)
y = Convolution2D(128, 3, 3, activation='relu', border_mode='valid')(y)
y = MaxPooling2D((2, 2))(y)
y = Flatten()(y)
y = Dense(512, activation='relu')(y)


digit1 = Dense(11, activation="softmax")(y)
digit2 = Dense(11, activation="softmax")(y)
digit3 = Dense(11, activation="softmax")(y)
digit4 = Dense(11, activation="softmax")(y)
digit5 = Dense(11, activation="softmax")(y)
model = Model(input=x, output=[digit1, digit2, digit3,digit4,digit5])


model.compile(optimizer=adam,
          loss='categorical_crossentropy',
          metrics=['accuracy'])


sv_train_labels = [to_categorical(svt_labels[:,0]),
                   to_categorical(svt_labels[:,1]),
                   to_categorical(svt_labels[:,2]),
                   to_categorical(svt_labels[:,3]),
                   to_categorical(svt_labels[:,4])]
sv_validation_labels = [to_categorical(svv_labels[:,0]),
                        to_categorical(svv_labels[:,1]),
                        to_categorical(svv_labels[:,2]),
                        to_categorical(svv_labels[:,3]),
                        to_categorical(svv_labels[:,4])]

model.fit(sv_train, sv_train_labels, nb_epoch=50, batch_size=8,validation_data=(sv_validation, sv_validation_labels))

【问题讨论】：

显示一些代码？真的，您希望我们如何在没有代码的情况下帮助您解决此类问题
非常感谢您的评论。我所做的不仅仅是分享一些代码，我还分享了整个项目。您只需点击问题中的链接，即可找到完整的 Jupyter Notebook。
你应该明白，不会有很多人愿意点击你的链接并探索整个项目来调试它:) 请参阅“帮助他人重现问题”部分：stackoverflow.com/help/how-to-ask跨度>
你说的很对！我已经用我认为相关的代码部分更新了这个问题。我希望这能帮助您找到问题的原因
很少有建议（1）只使用 1 个 softmax 层（而不是 5 个），最后有 10 个输出（匹配类的数量）predict = Dense(10, activation="softmax")(y)，（2）只使用一个 @987654326 @层中的model和（3）只需调用to_categorical一次sv_train_labels = to_categorical(sv_train_labels)。

标签： python machine-learning deep-learning keras

【解决方案1】：

在这种情况下，大多数情况下是错误的训练集。我建议您查看您输入网络的实际图像和标签。另外查看图像的实际颜色条。这意味着查看它们的值是如何分布的。这通常会导致解决方案。无论如何，如果您能够映射它们，那么计算机也会获得良好的学习率。

【讨论】：

【解决方案2】：

为什么标签是 104 : [10 10 1 10 4] ？我想应该是[10 10 1 0 4]吧？

在我看来：要么你的输入数据有问题（准备可能有问题），要么你的架构不适合这个问题。

这是训练，你可以在 notebook 上看到 epoch 1 和 2 之间的 loss 变化。所以这不是训练问题。

【讨论】：

我已经检查了输入数据。似乎 SVHN 将 0 处理为 '10' 所以我相应地更改了标签。现在所有的标签看起来都不错。并且所有图像都被裁剪，以便数字居中且可见。我知道第二个时代有所改善，但随后就冻结了。我已经尝试了 50 个 epoch 并保持与第二个 epoch 相同的值。
如果有帮助的话，对这个答案投反对票有什么意义？ ^^ 如果网络学习超过 2 个 epoch，则意味着 keras 没有问题，但更有可能您的网络架构不足以解决这个巨大的问题。阅读我在您问题的 cmets 中的论文，谷歌有一个很好且非常相似的方法:)

【解决方案3】：

正如我上面的评论，我建议避免训练模型来预测 5 位数组合。训练模型预测单个数字会更有效。我尝试在MNIST SHVN format 2 (cropped digits) 上基于 Keras 示例 cifar10_cnn.py 构建快速示例：

import numpy as np
import scipy.io as sio
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Convolution2D, MaxPooling2D
from keras.utils.np_utils import to_categorical

# parameters
nb_epoch = 10
batch_size = 32

# load data
nb_classes = 10
train_data = sio.loadmat('train_32x32.mat')
test_data = sio.loadmat('test_32x32.mat')
X_train = train_data['X'].T / 255
X_test = test_data['X'].T / 255
y_train = to_categorical(train_data['y'] % nb_classes)
y_test = to_categorical(test_data['y'] % nb_classes)

# model
model = Sequential()
model.add(Convolution2D(32, 3, 3, border_mode='same', input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Convolution2D(32, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(64, 3, 3, border_mode='same'))
model.add(Activation('relu'))
model.add(Convolution2D(64, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])

# train
model.fit(X_train, y_train, batch_size=batch_size, nb_epoch=nb_epoch, validation_data=(X_test, y_test), shuffle=True)

训练模型后，使用 OpenCV 等库将另一个模型训练为 recognize/extract each number from an image

【讨论】：