TensorFlow 训练精度远高于测试精度

Question

训练数据的准确率始终保持在 60% 左右，但当我尝试使用测试数据预测结果时，模型的准确率约为 50%（如果它是随机的，这是可以预料的）。

def train_model(training_data, training_differential, test_data, 
test_differential):
    num_nodes = 180

    model = keras.Sequential([
        keras.layers.Flatten(input_shape=(12, 22)),
        keras.layers.Dense(num_nodes, activation="relu"),
        keras.layers.Dense(2, activation="softmax")
    ])

model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])

model.fit(training_data, training_differential, epochs=20)

predictions = model.predict(test_data)


return predictions

不确定我是过度拟合数据还是使用了不正确的模型。任何帮助将不胜感激！

Answer 1

这可能涉及很多事情，输入什么样的数据以及您的目标类型是什么？它们是[0,1] 之类的类还是整数[6,2]。如果它们是类，那么您可能不需要稀疏分类交叉熵，只需要分类交叉熵。如果这是一个二元分类问题，例如cat or dog 但绝不会同时使用两者，那么您的最后一层应该是大小 1，其中目标是单个向量，其中每个值都是 1 或 0。

还有你的训练集有多大？如果它太小，过度拟合很可能是一个问题。

无论如何，从这里开始的一个地方可能是减少节点数量，从而减少网络本身的容量。您还可以引入某种形式的正则化，以防止网络在训练集上过度拟合。