Spark MLLib 与新用户的协同过滤

Question

我正在尝试在 Spark 中实现的协作过滤算法，但遇到了以下问题：

假设我用以下数据训练一个模型：

u1|p1|3
u1|p2|3
u2|p1|2
u2|p2|3

现在如果我用以下数据测试它：

u1|p1|1
u3|p1|2
u3|p2|3

我从未看到用户“u3”的任何评分，大概是因为该用户没有出现在训练数据中。这是因为冷启动问题吗？我的印象是这个问题只适用于新产品。在这种情况下，我会期待对“u3”的预测，因为训练数据中的“u1”和“u2”具有与“u3”相似的评级信息。这是基于模型和基于内存的协同过滤的区别吗？

Answer 1

我假设您在谈论 ALS 算法？

'u3' 不是您的训练集，因此您的模型对该用户一无所知。唯一能做的就是返回所有用户的平均评分。

查看 Spark 1.3.0 Scala 代码：当您调用 predict() 时，ALS.train() 返回的 MatrixFactorizationModel 尝试在特征向量中查找用户和产品。当我尝试预测未知用户的评分时，我得到了NoSuchElementException。就是这样实现的。