如何使用 scikit 的 Surprise 进行预测？

Question

我在理解 Surprise 工作流程时遇到了一些问题。我有一个用于训练的文件（我试图将其分为训练和验证）和一个用于测试数据的文件。我无法理解 Surprise Dataset 和 Trainset 之间的区别

# Import data
data_dir = 'DIRECTORY_NAME'
reader = Reader(rating_scale=(1, 5))

# Create pandas dataframes
train_valid_df = pd.read_csv(os.path.join(data_dir, 'TRAINING_FILENAME.csv'))
train_df, valid_df = train_test_split(train_valid_df, test_size=0.2)
test_df = pd.read_csv(os.path.join(data_dir, 'TEST_FILENAME.csv'))

# Create surprise Dataset objects
train_valid_Dataset = Dataset.load_from_df(train_valid_df[['user_id', 'item_id', 'rating']], reader)
train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)
test_Dataset = Dataset.load_from_df(test_df[['user_id', 'item_id', 'rating']], reader)

# Create surprise Trainset object (and testset object?)
train_Trainset = train_data.build_full_trainset()
valid_Testset = trainset.build_anti_testset()

然后，我创建我的预测器：

algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})

现在，如果我想交叉验证，我会这样做

cross_v = cross_validate(algo, all_data, measures=['mae'], cv=10, verbose=True)

哪个训练模型（？），但如果我想使用我的固定验证集，我会怎么做？这个：？

algo.fit(train_Trainset)

这样做之后，我试图得到一些预测：

predictions = algo.test(valid_Testset)
print(predictions[0])

结果就是这样 但是当我尝试使用项目和用户 ID 号进行预测时，它说这样的预测是不可能的：

print(algo.predict('13', '194'))
print(algo.predict('260', '338'))
print(algo.predict('924', '559'))

产量：

第一个用户/项目对来自训练反集，第二个来自验证集，第三个来自训练集。我不知道为什么会这样，而且我有时会发现文档令人困惑。同样，许多在线教程似乎都在训练我遇到错误的 pandas 数据帧。任何人都可以澄清惊喜的工作流程实际上是什么样的吗？如何训练并在测试集上做出预测？

谢谢！

Answer 1

希望这会有所帮助，因为您有单独的训练和测试，我们会创建与您的数据相似的内容：

from surprise import Dataset, KNNBaseline, Reader
import pandas as pd
import numpy as np
from surprise.model_selection import cross_validate
reader = Reader(rating_scale=(1, 5))

train_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
                         'item_id':np.random.choice(['101','102','103','104'],100),
                         'rating':np.random.uniform(1,5,100)})

valid_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
                         'item_id':np.random.choice(['101','102','103','104'],100),
                         'rating':np.random.uniform(1,5,100)})

然后我们需要将训练数据转换为 surprise.trainset ，类似于您所做的：

train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)

train_Dataset = train_Dataset.build_full_trainset()

对于拟合，您只需要 train_Dataset，对于交叉验证，我不确定您要做什么，我认为它超出了预测的问题范围，所以我们拟合：

algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})
algo.fit(train_Dataset)

要进行预测，您需要以列表或数组的形式提供输入，它与您的输入具有相同的形状，因此例如，如果我们要提供测试数据集，它将是：

testset = [valid_Dataset.df.loc[i].to_list() for i in range(len(valid_Dataset.df))]
algo.test(testset)[:2] 

[Prediction(uid='2', iid='103', r_ui=3.0224818872683845, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False}),
 Prediction(uid='2', iid='103', r_ui=4.609064535195377, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False})]

如果你想测试一两个值，那就是：

algo.test([['1','101',None]])