【问题标题】:Getting more than 100% accuracy for model.evaluate() for CNN, when I run the model multiple times. How do I separate each model.fit() instance?当我多次运行模型时,CNN 的 model.evaluate() 准确率超过 100%。如何分离每个 model.fit() 实例?
【发布时间】:2021-10-31 12:14:04
【问题描述】:

我目前正在尝试运行一个 CNN 模型,该模型查看猫和狗的图像以尝试对它们进行分类(一个古老的 kaggle 问题)。但是,我想看看运行不同数量的 epoch 对模型准确性的影响。

不幸的是,当我多次运行 model.fit() 以及 model.evaluate() 时,准确度分数似乎与上一次模型运行相叠加。例如,我得到的错误输出是:

100 Epochs Test Accuracy: 67.7%
200 Epochs Test Accuracy: 98.5%
300 Epochs Test Accuracy: 259.0%

我的 CNN 是这样构建的:

input_layer = Input(shape=(img_shape, img_shape, 3))

convolution_layer_1 = Conv2D(32, kernel_size=(5,5), activation = 'relu')(input_layer)
max_pool_1 = MaxPooling2D(pool_size=(2,2), strides=2)(convolution_layer_1)

convolution_layer_2 = Conv2D(64, kernel_size=(5,5), activation = 'relu')(max_pool_1)
max_pool_2 = MaxPooling2D(pool_size=(2,2),strides=2)(convolution_layer_2)

dense_layer_1 = Dense(32, activation='relu')(max_pool_2)
flatten_layer_1 = Flatten()(dense_layer_1)
dropout_1 = Dropout(0.4)(flatten_layer_1)

output_layer = Dense(1, activation='softmax')(dropout_1)

model = Model(inputs=input_layer, outputs=output_layer)
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.summary()

然后我运行了以下一系列 model.fit() 和 model.evaluate() 命令,每次只更改 epochs 值(和打印语句)。

model.fit_generator(
    training_set_data, 
    epochs = 100, 
    validation_data = test_set_data, 
)

score_100 = model.evaluate(test_set_data)
print('\nTest accuracy for 100 epochs: %0.4f%%' % (score_100[0] * 100))

# 100 Epochs Test Accuracy: 67.7%

-------------------------------------------

model.fit_generator(
    training_set_data, 
    epochs = 200, 
    validation_data = test_set_data, 
)

score_200 = model.evaluate(test_set_data)
print('\nTest accuracy for 200 epochs: %0.4f%%' % (score_200[0] * 100))

#200 Epochs Test Accuracy: 98.5%

-------------------------------------------

model.fit_generator(
    training_set_data, 
    epochs = 300, 
    validation_data = test_set_data, 
)

score_300 = model.evaluate(test_set_data)
print('\nTest accuracy for 300 epochs: %0.4f%%' % (score_300[0] * 100))

#300 Epochs Test Accuracy: 259.0%

如何分别运行 model.fit() 的这三个时期迭代?这样 model.evaluate() 的输出可以正确打印吗?例如:

100 Epochs Test Accuracy: 67.7%
200 Epochs Test Accuracy: 70.5%
300 Epochs Test Accuracy: 74.0%

我尝试创建 3 个单独的 CNN 编译以单独运行每个编译,如下所示:

model1 = Model(inputs=input_layer, outputs=output_layer)
model1.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

model2 = Model(inputs=input_layer, outputs=output_layer)
model2.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

然后

model1.fit ....etc
model2.fit ....etc

但是现在问题似乎出在模型本身上?因为如果我直接运行model3(300个epoch)而不运行model1和model2,我仍然得到200+%的准确度分数

发生了什么事!?

【问题讨论】:

  • 您使用的是fit_generator(),而不是fit()。您可能需要遍历 fit_generator() 才能执行操作。
  • @AKX 我尝试将它们全部更改为fit,但问题仍然存在
  • 您可以尝试将输出从softmax 切换到sigmoid 吗?另见stackoverflow.com/a/62844619/826983
  • @StefanFalk 更改为 sigmoid 也没有解决问题

标签: python tensorflow keras deep-learning


【解决方案1】:

很难说出您的问题出在哪里,但您的代码经过一些小的修改,可以训练模型识别图像是否为IS_NUMBER。

import tensorflow as tf
import tensorflow_datasets as tfds
from tensorflow.keras import layers
from tensorflow import keras


(ds_train, ds_test), ds_info = tfds.load(
    'mnist',
    split=['train', 'test'],
    shuffle_files=True,
    as_supervised=True,
    with_info=True,
)

inputs_spec, outputs_spec = ds_train.element_spec

input_layer = layers.Input(shape=inputs_spec.shape)
x = input_layer

x = layers.Conv2D(32, kernel_size=(3,3))(x)
x = layers.MaxPooling2D(pool_size=(2,2), strides=2)(x)

x = layers.Conv2D(64, kernel_size=(3,3))(x)
x = layers.MaxPooling2D(pool_size=(2,2),strides=2)(x)

x = layers.Flatten()(x)
x = layers.Dense(32)(x)
x = layers.Dropout(0.1)(x)

x = layers.Dense(1, activation='sigmoid')(x)

model = keras.Model(inputs=input_layer, outputs=x)
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

IS_NUMBER = 3

def is_number(inp, tar):
  return inp, tf.cast(tf.equal(tar, IS_NUMBER), dtype=tf.int32)

ds_train = ds_train.map(is_number).repeat()

train = ds_train.padded_batch(50)

model.fit(
    train, 
    steps_per_epoch=200, 
    epochs=5,
    class_weight={0: 0.9, 1: 0.1}
)

我得到了类似的结果:

# ...

x = layers.Dense(2, activation='softmax')(x)

model = keras.Model(inputs=input_layer, outputs=x)
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'

IS_NUMBER = 3

def is_number(inp, tar):
  return inp, tf.cast(tf.equal(tar, IS_NUMBER), dtype=tf.int32)

# ...

model.fit(
    train, 
    steps_per_epoch=200, 
    epochs=5
)

也许这可以帮助您用自己的代码/数据找出问题。

【讨论】:

  • 感谢@StefanFalk,但我对这一切都很陌生。识别图像是否为IS_NUMBER 有什么影响?还有def is_number 函数和ds_train.padded_batch() 有什么作用?
  • 我的示例需要一个数据集,而 MNIST 是我的选择。我只做了这个。我们可以像您的情况一样训练一个简单的二元分类器。 is_number() 仅将目标从 0-9 中的值转换为 0 或 1(二进制)。 padded_batch(),顾名思义,创建一个填充批次。由于所有输入都相同,因此不会有填充 - 我们只需要在这里进行批处理。通常使用更大的批量大小是个好主意(请参阅随机梯度下降)。
  • 我现在正在尝试您的is_number 建议,但由于我使用tf.keras.preprocessing.image.ImageDataGenerator 从目录加载数据,我收到错误'DirectoryIterator' object has no attribute 'map'。我试图通过这样做来解决这个问题:training_set_data = tf.data.Dataset.from_generator( training_set_data.map(is_number).repeat()) 但它仍然显示相同的错误。有什么想法吗?
  • 在我看来,您在这里缺少一些基础知识。 ImageDataGenerator 似乎不是 tf.data.Dataset 错误告诉您您的对象没有 map() 函数。也许从头开始,只迈出一小步。首先,尝试创建一个tf.data.Dataset,它会一次生成一个示例。检查每个示例并确保它们看起来正确(调试它或编写测试)。验证您的数据是否正确后,创建一个简单模型。将其归结为基本要素,然后在 批处理 数据集上开始训练。
【解决方案2】:

您指的是错误的参数 score_300[0] 会给您评估数据集的损失值,而 score_300[1] 会给您在您引用错误值 score_100、score_200 的所有三种情况下的准确度值和 score_300

【讨论】:

  • 是的,实际上我后来设法发现了这个错误。所以我的实际准确度分数持平在 50% ......而错误是一个膨胀到 200+% 我仍然不知道为什么准确度保持在 50%。也许是因为数据集中的图像数量非常少。
  • 这是一个 0.2 奇数的损失,不是以百分比来衡量的,我的朋友。
  • 使用顺序模型添加更密集的层和 Conv 层并尝试数据增强,因为样本量非常小,并通过批量标准化和其他事情进行一些 RND,您最终可能会获得更高的准确性。
  • 参考此链接进行数据增强和其他kaggle.com/ashokkumar071994/celebfaces
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-02-12
  • 1970-01-01
  • 1970-01-01
  • 2020-09-19
  • 2018-01-15
  • 2022-10-15
相关资源
最近更新 更多