通过循环通过 train_test_split 训练模型并在不循环的情况下进行训练

Question

我是 python 和 Keras 的新手，请耐心等待我的问题。

1. 我最近在 Keras 中创建了一个模型，对其进行了训练并获得了“均方误差 MSE”后预测。我在使用的数据集上使用了 train_test_split 函数。

2. 接下来，我创建了一个包含 50 次迭代的 while 循环，并将其应用于上述模型。但是，我将 train_test_split 函数（未指定 *random_number）保留在循环中，这样在每次迭代中我都会有一组新的 X_train、y_train、X_test 和 y_test 值。我获得了 50 个 MSE 值作为输出并计算了它们的“平均值”和“标准”偏差。 我的问题是通过将 train_test_split 函数放在循环中，我做对了吗？这是否会影响我的目标，即查看为我的数据集生成的不同 MSE 值？

3. 如果我将 train_test_split 函数放在我的 while 循环之外并执行上述活动，那么 X_train、y_train、X_test 和 y_test 值在我的所有 50 次迭代中不会保持不变吗？这不会导致我的模型出现过拟合问题吗？

非常感谢您的反馈。

我的代码sn-p：

from sklearn.model_selection import train_test_split
from sklearn import metrics
import numpy as np

MSE=np.zeros(50)

for i in range(50):
    predictors_train,predictors_test,target_train,target_test=train_test_split(predictors,target,test_size=0.3)
    model=regression_model()
    model.fit(predictors_train,target_train,validation_data=(predictors_test,target_test),epochs=50,verbose=0)
    model.evaluate(predictors_test,target_test, verbose=0)
    target_predicted=model.predict(predictors_test)
    MSE[i]=metrics.mean_squared_error(target_test, target_predicted)
    print("Test set MSE for {} cycle:{}".format(i+1,MSE[i]))

Answer 1

您正在实施的方法称为交叉验证，它可以让您的模型更好地“查看”您的数据，并减少您的训练数据“过于完美”或“过于嘈杂”的可能性。

因此，将您的 train_test_set 放入循环中将从您的原始数据生成新的训练批次，并且意味着您将获得您想要的输出。 如果你把 train_test_set 放在外面，这批训练数据将在你的所有训练循环中保持不变，导致你说的过拟合。

但是train_test_split是随机的，所以你可以有两个随机批次，很有可能，所以这个方法不是最优的。

更好的方法是使用 k 折交叉验证：

from sklearn.model_selection import StratifiedKFold

kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=seed)

MSE = []

for train, test in kfold.split(X, Y):

   model = regression_model()
   model.fit(X[train],y[train],validation_data= (X[test],y[test]),epochs=50,verbose=0)
   model.evaluate(X[test],y[test], verbose=0)
   target_predicted = model.predict(predictors_test)
   MSE.append(metrics.mean_squared_error(y[test], target_predicted))
   print("Test set MSE for {} cycle:{}".format(i+1,MSE[i]))

print("Mean MSE for {}-fold cross validation : {}".format(len(MSE), np.mean(MSE)) 

此方法将创建 10 倍的训练数据，并在每次迭代中使用不同的数据来拟合您的模型。

您可以在这里获得更多信息：https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedKFold.html

希望对你有帮助！

精确编辑

确实不要对您的 TEST 数据使用此方法，而仅对您的 VALIDATION 数据使用此方法！ 您的模型之前绝不能看到您的 TEST 数据！

Answer 2

您根本不想在训练期间使用测试集。您将模型调整到甚至会开始“过度拟合”测试集的程度，并且您的错误估计将过于乐观。

是的，如果您将 train_test_split 放在该 for 循环之外，您的集合将在整个训练中保持不变，并且可能导致过度拟合。这就是为什么您拥有不用于训练而是用于验证的验证集，主要是为了找出您的模型是否过度拟合训练集。如果它是过拟合的，你应该通过调整你的模型来解决它（降低它的复杂性，实现正则化，提前停止......）。

但不要在用于测试的相同数据上训练您的模型。在验证集上训练数据是另一回事，通常在实施 K 折交叉验证时使用。

所以要遵循的一般步骤是：

1. 将您的数据集拆分为测试集和“其他”集，将测试集放在一边，在您准备好进行最终测试之前不要将其显示给您的模型 => 仅在您已经训练和调整后你的模型

2. 选择是否要实施 k 折交叉验证。如果没有，则将您的数据拆分为训练集和验证集，并在整个训练过程中使用它们 => 训练集用于训练，验证集用于验证

3. 如果您想实现 k 折交叉验证，请按照步骤 2，测量您要跟踪的错误度量，再次选择另一组，将其拆分为不同的训练集和验证集，并再次进行整个训练。重复多次，并取这些周期中测量的误差指标的平均值，以获得更好的（平均）误差估计

4. 调整模型并重复步骤 2 和 3，直到您对结果满意为止

5. 测量你的最终模型在测试集上的误差，看看它是否泛化得很好

请注意，虽然实现 k 折交叉验证通常是一个好主意，但这种方法对于大型神经网络可能不可行，因为它会显着增加训练它们所需的时间。如果是这种情况，您可能只想坚持使用一个训练集和一个验证集，或者将 k（k 倍）设置为某个较低的数字，例如 3。