Keras fit_generator 上的错误，比它应该运行的步骤多

Question

我发现fit_generator() 会多跑几步。
我设置了steps_per_epoch=100。 i 和 k 都从 0 开始。但是在训练过程结束时，它会打印出k = 109。这种情况只有在添加验证数据时才会发生。

def data_generate(xfd, yfd, x_line_offset, y_line_offset):

    while True:
        k = 0

        x_line_offset, y_line_offset = shuffle_list(x_line_offset, y_line_offset)

        for i in range(100):
            print('i = {}'.format(i))
            print('k = {}'.format(k))
            k += 1

            x_train = get_line_by_offset(xfd, x_line_offset[i])
            x_train = rescaling(x_train, 0, 65535, 0, 1)
            y_train = get_line_by_offset(yfd, y_line_offset[i])

            yield x_train, y_train

train_generator = data_generate(xfd_train, yfd_train, x_train_line_offset, y_train_line_offset)
validation_generator = data_generate(xfd_valid, yfd_valid, x_valid_line_offset, y_valid_line_offset)

model.fit_generator(train_generator, steps_per_epoch=100,
                    validation_data=validation_generator,
                    validation_steps=len(fix_y_valid_line_offset), epochs=1)

由于它会打印出k = 109，我假设它会运行更多步骤。不知道是不是bug。但是在k = 99 之后没有显示 keras 日志消息。

Answer 1

这里没有错误，只是一些实现细节。函数fit_generator() 有一个默认参数max_queue_size=10。来自train_generator 和validation_generator 的批次将在用于拟合/评估模型之前插入到队列中。

当第一个 epoch 结束时，生成了 100 个批次 (k = 99)。但是，生成器将继续生成 10 个批次来填满队列。这就是您看到k = 100 到k = 109 的原因。同时，验证过程开始，因此您还会看到 k = 0, ... 来自 validation_generator。