用 from_generator 拟合 tf.data.Dataset

Question

我正在训练一个神经网络来读取 4 个图像并预测接下来的 4 个图像。由于我有一个庞大的数据集，所以我编写了这个生成器：

def my_gen(array_passed):
    for i in range(len(array_passed)-8):
        x = arr_train_ids[i:i+4]
        x = obtain_data(x) #shape (4,480,480,1)

        y = arr_train_ids[i+4:i+8]
        y = obtain_data(y) #same shape as x
        yield x, y

obtain_data 只是打开文件，加载 4 个 480x480 矩阵并重塑为 (4, 480, 480, 1)。然后，按照这里的帖子，我这样做：

def my_input_fn(array_passed):
    dataset = tf.data.Dataset.from_generator(lambda: my_gen(array_passed),
                   output_types=(tf.float32, tf.float32),
                   ) #using TF2.3, output_signature not valid
    dataset = dataset.batch(1)
    #dataset = dataset.repeat(10)
    return dataset

train_dataset = my_input_fn(arr_train_ids)
val_dataset = my_input_fn(arr_val_ids)
test_dataset = my_input_fn(arr_test_ids)

我不确定是否有必要使用repeat...现在我的代码中已对此进行了注释。

模型，称为rnc，放在此处（为简洁起见，省略，涉及 ConvLSTM 和 Conv3D）。

model = rnc(input_shape=(4, 480, 480, 1))
model.compile(optimizer=tf.keras.optimizers.Adam(lr=3e-4),loss='mae')
history = model.fit(train_dataset, validation_data=val_dataset, epochs=100)

我想训练 1 批数据。理论上，1批数据应该是4个480x480的矩阵，1个通道，(4, 480, 480, 1)作为输入，(4, 480, 480, 1)作为输出。

但是我没有从培训中得到任何东西，我很怀疑。我想知道TF数据集的准备是否是我做的正确的事情。

Answer 1

如果您从train_dataset 检查了生成的input_batch 和output_batch，它必须工作。
在我的简单生殖示例中，

import tensorflow as tf
import tensorflow.keras as keras

x = tf.random.normal((100, 4, 480, 480, 1)) # Say I have 100 data.
y = tf.random.normal((100, 4, 480, 480, 1))

train_ds = tf.data.Dataset.from_tensor_slices((x, y))
train_ds = train_ds.batch(batch_size=32, drop_remainder=True)

# check whether this dataset really produces the things I want
sample_input_batch, sample_output_batch = next(iter(train_ds))
print(sample_input_batch.shape) # (32, 4, 480, 480, 1)
print(sample_output_batch.shape) # (32, 4, 480, 480, 1)

simple_model = keras.Sequential([
    keras.layers.InputLayer(input_shape=(4, 480, 480, 1)),
    keras.layers.Dense(10, activation='relu'),
    keras.layers.Dense(1, activation='relu')
])

simple_model.compile(loss=keras.losses.MeanSquaredError(),
                    optimizer=keras.optimizers.Adam(),
                    metrics=['mse'])

# check whether the model really produces the thing I expect
sample_predicted_batch = simple_model(sample_input_batch)
print(sample_predicted_batch.shape) # (32, 4, 480, 480, 1)

simple_model.fit(train_ds)
# 3/3 [==============================] - 0s 24ms/step - loss: 1.1743 - mse: 1.1743
# Then it should work!

另外，如果你有一个巨大的数据集，你真的不需要使用tf.data.API的repeat()方法。

此外，如果您使用repeat() 方法，则必须为某个数字指定steps_per_epoch 参数，否则意味着永远运行。您可以在here 中查看steps_per_epoch。