如何在训练有素的 SVD 模型上验证测试集？

Question

我正在学习使用 奇异值分解 (SVD) 在 Python 中对电影推荐进行矩阵分解的教程： here

使用 SVD，使用 SVD 将数据集近似为三个部分：

M ≈ U ⋅ S ⋅ Vt

• 因此，您从左侧 (M) 转到三个组件，然后再返回，
• 现在您可以使用大约。
• M 作为推荐矩阵。

现在，我想在这个矩阵上使用训练/测试验证集，因为您需要找到 M 的最佳 k（数字）近似值。

如何在经过训练的模型上应用单独的测试集来获得未见过的测试集的预测？ 这个数学/算法是什么？ 谢谢

Answer 1

拟合任何机器学习模型的标准过程如下：

• 您将数据集随机分成三部分：训练集（60% 的数据）、验证集（20% 的数据）、测试集（20%）。
• 您仅使用您的训练数据来训练任何模型
• 您使用您的验证集来选择超参数并在不同模型中选择最佳的
• 您在测试集上评估您的模型，以了解它在新的未知数据上的表现

因此，在您的情况下，您应该执行以下步骤：

• 将数据集拆分为这 3 个部分（如果您使用的是 sklearn，则可以使用 train_test_split，如 here
• 您使用不同的 k 值运行 SVD，并在验证集上评估这些近似值的性能，然后选择具有最低 RMSE 值的 k（如教程中所述）
• 在测试集上应用选择的模型，看看它在看不见的数据上的表现

如果您的数据集很小而不是拆分为 3 个数据集，您可以拆分为训练和测试，并使用 cross validation 微调您的 k。