如何解决 model.predict() 中的 ValueError？

Question

我是神经网络问题的新手。我已经搜索了几个小时，但不明白我应该怎么做才能解决这个问题！我正在使用 nsl-kdd 数据集，用于带有卷积神经网络的入侵检测系统。

我遇到了这个问题：ValueError：dense_14 层的输入 0 与该层不兼容：输入形状的预期轴 -1 具有值 3904，但接收到形状为 [None，3712] 的输入

形状：

x_train (125973, 122)

y_train (125973, 5)

x_test (22544, 116)

y_test (22544,)

重塑后：

x_train = np.reshape(x_train, (x_train.shape[0], x_train.shape[1], 1)) #(125973, 122, 1)

x_test = np.reshape(x_test, (x_test.shape[0], x_test.shape[1], 1)) #(22544, 116, 1)

型号：

model = Sequential()
model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x_train.shape[1], 1)))
model.add(MaxPooling1D(pool_size=(2)))
model.add(Flatten())
model.add(Dense(128, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(5, activation="softmax"))

编译：

model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
model.fit(x_train, Y_train, epochs = 5, batch_size = 32)

pred = model.predict(x_test)  #problem is occurring for this line
y_pred= np.argmax(pred, axis = 1)

model summary

Answer 1

您的 x_test 应与 x_train 具有相同的尺寸。
x_train = (125973, 122, 1)

x_test = (22544, 116, 1) #第二个参数必须匹配训练集

代码示例：

import tensorflow as tf
import pandas as pd 
import numpy as np
from tensorflow.keras.layers import *
from tensorflow.keras import *


x1 = np.random.uniform(100, size =(125973, 122,1))
x2 = np.random.uniform(100, size =(22544, 122, 1))
y1 = np.random.randint(100, size =(125973,5), dtype = np.int32)
y2 = np.random.randint(2, size =(22544, ), dtype = np.int32)

def create_model2():
    model = Sequential()
    model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x1.shape[1], 1)))
    model.add(MaxPooling1D(pool_size=(2)))
    model.add(Flatten())
    model.add(Dense(128, activation="relu"))
    model.add(Dropout(0.5))
    model.add(Dense(5, activation="softmax"))
    
    model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
    return model

model = create_model2()
tf.keras.utils.plot_model(model, 'my_first_model.png', show_shapes=True)

你的模型看起来像这样：

现在，如果使用您的测试集创建模型，保持您的维度为 (22544, 116, 1)。
你会得到一个看起来像这样的模型。
由于维度不同，每一层的预期输入和输出也不同。

当您有适当的测试尺寸时，输出会按预期工作：

pred = model.predict(x2)
pred

输出：

array([[1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.],
       ...,
       [1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.]], dtype=float32)

Answer 2

问题：问题是您的测试集确实与您的训练集具有相同的维度。测试集应该看起来像是从训练集中抽取了一个样本。因此，如果您的训练集具有维度 x_train.shape = (125973, 122) 和 y_train.shape = (125973, 5)。那么你的测试集应该有x_test.shape = (sample_num, 122)和y_test.shape = (sample_num, 5)的维度。

可能的解决方案：如果您不想将您的测试集与.fit() 中的验证拆分一起使用，这是一种简单的测试方法。

所以这个：model.fit(x_train, Y_train, epochs = 5, batch_size = 32)
会变成这样：model.fit(x_train, Y_train, epochs = 5, batch_size = 32, validation_split=0.2)

这会砍掉 20% 的训练数据并将其用于测试。然后在每个 epoch 之后，TensorFlow 将打印网络在该验证数据上的执行情况，以便您可以看到您的模型在以前从未见过的数据上的执行情况。