训练和测试的准确性相同答案

【问题标题】：Training and testing accuracy coming same训练和测试的准确性相同
【发布时间】：2018-06-19 09:02:58
【问题描述】：

我正在构建一个模型，它将数据分类为 7。

输入包括从 GIS 数据集中提取的 7 个波段。我正在获取一个波段的一个像素，然后使用监督分类方法训练我的神经网络。

有2个问题：

第一个是我的训练精度在每个时期都是相同的
第二个是每个epochs的训练和测试准确率也一样。

我尝试过更改各种模型、优化器和激活函数。

代码

from keras.layers import Dense,Input,Dropout
from keras.models import Model
from keras.models import load_model
from keras.optimizers import Adam
from sklearn.utils import shuffle

import numpy as np
from matplotlib import pyplot as plt
import scipy.io as sci
import time

mat=sci.loadmat('landsat/dataset_beta.mat')
X1=mat.get('x')
Y1=mat.get('y')
X1, Y1 = shuffle(X1, Y1)

m=int(85*X1.shape[0]/100)
bands=7
print(m)

X_train=X1[0:m,0:bands]
Y_train=Y1[0:m]
X_test=X1[m:X1.shape[0],0:bands]
Y_test=Y1[m:X1.shape[0]]


print('Total training examples: '+str(X_train.shape[0]))
print('Total test examples: '+str(X_test.shape[0]))
print('X_train dimensions: '+str(X_train.shape))
print('Y_train dimensions: '+str(Y_train.shape))
print('X_test dimensions: '+str(X_test.shape))
print('Y_test dimensions: '+str(Y_test.shape))

inp=Input(shape=(bands,))
layer=Dense(11,activation='sigmoid')(inp)
#layer=Dropout(0.2)(layer)
layer=Dense(22,activation='sigmoid')(layer)
layer=Dense(33,activation='sigmoid')(layer)
layer=Dense(44,activation='sigmoid')(layer)
layer=Dense(55,activation='sigmoid')(layer)
layer=Dense(66,activation='sigmoid')(layer)
layer=Dense(77,activation='sigmoid')(layer)
layer=Dense(88,activation='sigmoid')(layer)
layer=Dense(99,activation='sigmoid')(layer)
layer=Dense(110,activation='sigmoid')(layer)
layer=Dense(110,activation='sigmoid')(layer)
layer=Dense(99,activation='sigmoid')(layer)
layer=Dense(88,activation='sigmoid')(layer)
layer=Dense(77,activation='sigmoid')(layer)
layer=Dense(66,activation='sigmoid')(layer)
layer=Dense(55,activation='sigmoid')(layer)
layer=Dense(44,activation='sigmoid')(layer)
layer=Dense(33,activation='sigmoid')(layer)
layer=Dense(22,activation='sigmoid')(layer)
layer=Dense(11,activation='sigmoid')(layer)
layer=Dense(7,activation='softmax')(layer)
model=Model(inputs=inp,outputs=layer)

model.compile('RMSprop','binary_crossentropy',metrics=['accuracy'])

history=model.fit(X_train,Y_train,epochs=50,steps_per_epoch=20,validation_data=(X_test,Y_test),validation_steps=1)

【问题讨论】：

标签： python machine-learning neural-network keras deep-learning

【解决方案1】：

您的模型非常深，没有批量标准化或其他深度学习技术来处理深度网络。

从层数较少的模型开始，检查代码是否正常工作。然后你可以尝试更深层次的模型。

【讨论】：

【解决方案2】：

正如 Daniel 上面所说，使用批量标准化等常见 DL 技术是一个好习惯。这些将有助于您的数据集并因此进行培训。例如，前面提到的批量标准化有助于使数据集更加“简单”，简单地说。

我在我写的初学者深度学习指南中写到了这些不同的深度学习模型技术（批量标准化、数据重组、dropout 等），您可以查看here。

祝你好运，如果您有任何问题，请告诉我！

【讨论】：

我已经缩小模型并再次验证数据。尝试使用批量标准化，但结果是验证准确性仍然没有改变。虽然训练精度似乎在 0.85 -0.86 之间移动。它没有超过 0.86，而损失和验证损失正在不断改善。
inp=Input(shape=(121,)) layer=Dense(82)(inp) layer=BatchNormalization(axis=-1)(layer) layer=Activation('relu')(layer ) layer=Dropout(0.3)(layer) layer=Dense(54)(layer) layer=BatchNormalization(axis=-1)(layer) layer=Activation('relu')(layer) layer=Dropout(0.3)(layer ) layer=Dense(2)(layer) layer=Activation('softmax')(layer) model=Model(inputs=inp,outputs=layer,name='Classifier')

【解决方案3】：

问题：您的网络的问题在于深度。主要问题可能是梯度下降消失。 (https://en.wikipedia.org/wiki/Vanishing_gradient_problem)

在选择深度模型之前要记住的事项。
1. 为什么不是传统的机器学习模型？
2. 你有足够的数据来训练一个深度模型吗？如果不能，您可以进行迁移学习吗？
3. 有没有在类似任务上训练过的模型？

当我开始学习深度学习时，我曾经尝试过更多的隐藏层。但大多数模型没有收敛。在我看来，最好的方法是实现众所周知的模型 ( vgg ) 并尝试使用超参数。
Keras还有很多预训练模型，你可以微调预训练模型。

【讨论】：