验证数据与训练数据 TensorFlow 2 分开？答案

【问题标题】：Validation data separate from training data TensorFlow 2?验证数据与训练数据 TensorFlow 2 分开？
【发布时间】：2020-10-28 13:49:19
【问题描述】：

当使用 TensorFlow 2 训练模型时，如下所示，验证数据是否应该在传递给模型的fit 方法之前与训练数据分开，还是可以作为训练集的一部分？在下面的代码末尾显示两个选项。我相信选项 1 是正确的，但正如我看到一些使用选项 2 的来源，我想确保我理解正确。

X_train, X_test, y_train, y_test = train_test_split(df_x, series_y)

best_weight_path = 'best_weights.hdf5'

numpy_x = df_x.to_numpy()
numpy_y = series_y.to_numpy()

numpy_x_train = X_train.to_numpy()
numpy_y_train = y_train.to_numpy()
numpy_x_test = X_test.to_numpy()
numpy_y_test = y_test.to_numpy()

model = Sequential()
model.add(Dense(32, input_dim=x.shape[1], activation='relu'))
model.add(Dense(32, activation='relu'))
model.add(Dense(2, activation='softmax'))
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam')
monitor = EarlyStopping(monitor='val_loss', min_delta=1e-3, patience=5, verbose=1, mode='auto')
checkpointer = ModelCheckpoint(filepath=best_weight_path, verbose=0, save_best_only=True)

选项 1

model.fit(numpy_x_train, numpy_y_train, validation_data=(numpy_x_test, numpy_y_test), callbacks=[monitor, checkpointer], verbose=0, epochs=1000)

选项 2

model.fit(numpy_x, numpy_y, validation_data=(numpy_x_test, numpy_y_test), callbacks=[monitor, checkpointer], verbose=0, epochs=1000)

【问题讨论】：

标签： python tensorflow keras tf.keras

【解决方案1】：

第一个选项是正确的......您在数据之前拆分并使用您的火车来适应和评估测试/有效

第二个选项不...您将所有数据都用于训练，同时将其中的一部分传递给评估。 Keras 并没有那么聪明地理解这一点。但要实现你在第二个选项中寻找的东西，你只需要validation_split = 0.xxx

model.fit(numpy_x, numpy_y, validation_split=0.xxx, callbacks=[monitor, checkpointer], verbose=0, epochs=1000)

换句话说，你传递所有适合的数据，然后 Keras 使用 0.xxx % 对它们进行随机拆分以进行评估/测试

【讨论】：