tf keras SparseCategoricalCrossentropy 和 sparse_categorical_accuracy 在训练期间报告错误值

Question

这是 tf 2.3.0。在训练期间，报告的 SparseCategoricalCrossentropy 损失和 sparse_categorical_accuracy 的值似乎很遥远。我查看了我的代码，但还没有发现任何错误。这是要重现的代码：

import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

x = np.random.randint(0, 255, size=(64, 224, 224, 3)).astype('float32')
y = np.random.randint(0, 3, (64, 1)).astype('int32')

ds = tf.data.Dataset.from_tensor_slices((x, y)).batch(32)

def create_model():
  input_layer = tf.keras.layers.Input(shape=(224, 224, 3), name='img_input')
  x = tf.keras.layers.experimental.preprocessing.Rescaling(1./255, name='rescale_1_over_255')(input_layer)

  base_model = tf.keras.applications.ResNet50(input_tensor=x, weights='imagenet', include_top=False)

  x = tf.keras.layers.GlobalAveragePooling2D(name='global_avg_pool_2d')(base_model.output)

  output = Dense(3, activation='softmax', name='predictions')(x)

  return tf.keras.models.Model(inputs=input_layer, outputs=output)

model = create_model()

model.compile(
  optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
  loss=tf.keras.losses.SparseCategoricalCrossentropy(), 
  metrics=['sparse_categorical_accuracy']
)

model.fit(ds, steps_per_epoch=2, epochs=5)

这是打印出来的：

Epoch 1/5
2/2 [==============================] - 0s 91ms/step - loss: 1.5160 - sparse_categorical_accuracy: 0.2969
Epoch 2/5
2/2 [==============================] - 0s 85ms/step - loss: 0.0892 - sparse_categorical_accuracy: 1.0000
Epoch 3/5
2/2 [==============================] - 0s 84ms/step - loss: 0.0230 - sparse_categorical_accuracy: 1.0000
Epoch 4/5
2/2 [==============================] - 0s 82ms/step - loss: 0.0109 - sparse_categorical_accuracy: 1.0000
Epoch 5/5
2/2 [==============================] - 0s 82ms/step - loss: 0.0065 - sparse_categorical_accuracy: 1.0000

但是，如果我仔细检查 model.evaluate，并“手动”检查准确性：

model.evaluate(ds)

2/2 [==============================] - 0s 25ms/step - loss: 1.2681 - sparse_categorical_accuracy: 0.2188
[1.268101453781128, 0.21875]

y_pred = model.predict(ds)
y_pred = np.argmax(y_pred, axis=-1)
y_pred = y_pred.reshape(-1, 1)
np.sum(y == y_pred)/len(y)

0.21875

model.evaluate(...) 的结果与“手动”检查的指标一致。但如果你盯着训练中的损失/指标，它们看起来很遥远。因为从来没有抛出错误或异常，所以很难看出哪里出了问题。

此外，我创建了一个非常简单的案例来尝试重现这一点，但它实际上在这里无法重现。请注意，batch_size == 数据长度，因此这不是小批量 GD，而是全批量 GD（以消除与小批量损失/指标的混淆：

x = np.random.randn(1024, 1).astype('float32')
y = np.random.randint(0, 3, (1024, 1)).astype('int32')
ds = tf.data.Dataset.from_tensor_slices((x, y)).batch(1024)
model = Sequential()
model.add(Dense(3, activation='softmax'))
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(), 
    metrics=['sparse_categorical_accuracy']
)
model.fit(ds, epochs=5)
model.evaluate(ds)

正如我在评论中提到的，一个嫌疑人是批量规范层，对于无法重现的情况，我没有。

Answer 1

模型中存在batch norm 可以解释（或至少部分如此）指标中的巨大差异。将提出 2 种情况，其中一种是不可重现的，另一种是在引入批量规范时重现。在这两种情况下，batch_size 都等于数据的全长（也就是没有“随机”的全梯度下降），以最大限度地减少对小批量统计的混淆。

不可重现：

  x = np.random.randn(1024, 1).astype('float32')
  y = np.random.randint(0, 3, (1024, 1)).astype('int32')
  ds = tf.data.Dataset.from_tensor_slices((x, y)).batch(1024)

  model = Sequential()
  model.add(Dense(10, activation='relu'))
  model.add(Dense(10, activation='relu'))
  model.add(Dense(10, activation='relu'))
  model.add(Dense(3, activation='softmax'))

可重现：

  model = Sequential()
  model.add(Dense(10))
  model.add(BatchNormalization())
  model.add(Activation('relu'))
  model.add(Dense(10))
  model.add(BatchNormalization())
  model.add(Activation('relu'))
  model.add(Dense(10))
  model.add(BatchNormalization())
  model.add(Activation('relu'))

  model.add(Dense(3, activation='softmax'))

其实你可以试试model.predict(x), model(x, training=True)，你会发现y_pred有很大的不同。此外，根据 keras 文档，此结果还取决于批次中的内容。因此，x[0] 的预测模型(x[0:1], training=True) 与模型(x[0:2], training=True) 的不同之处在于包含一个额外的样本。

可能最好转到 Keras 文档和原始论文了解详细信息，但我确实认为您将不得不忍受这一点并相应地解释您在进度栏中看到的内容。如果您尝试使用训练损失/准确性来查看您是否有偏差（而不是方差）问题，这看起来很可疑。如有疑问，我认为我们可以在火车上运行评估，以确定您的模型何时“收敛”到一个极小的最小值。在我之前的工作中，我有点忽略了这个细节，因为在深度网络中欠拟合（偏差）很少见，所以我通过验证损失/指标来确定何时停止训练。但我可能会回到同一个模型并在训练集上进行评估（只是为了看看模型是否具有容量（而不是偏差）。

Answer 2

您会得到不同的结果，因为 fit() 将训练损失显示为当前时期内每批训练数据的损失平均值。这可以降低历元平均值。并且计算出的损失被进一步用于更新模型。然而，evaluate() 是在训练结束时使用模型计算的，导致不同的损失。可以查看官方的Keras FAQ和相关的StackOverflow post。

另外，尝试提高学习率。