Apache mahout 评估非常慢 - 使用修改后的 NearestNUserNeighborhoud

Question

我修改了 NearestNUserNeighborhoud，为属于信任网络的用户增加了一些额外的价值。信任网络位于数据库 (MySQL) 中。

当我为特定用户推荐商品时，它运行良好并提供推荐。

但是，当我评估 RMSE 时，它在比较用户的数据库/信任网络中的用户时非常慢。 （它运行数千个选择语句）

第一个数据模型位于 csv 文件中，它的形式为 userid itemid rating。而数据库中的形式为 truster trustee。

您建议在合理的时间内评估 RMSE？

Answer 1

mahout 评估算法可以利用并行处理。您可以在具有更多内核的更大机器上运行它。但是，您的问题似乎是数据库访问。确保您有一个准备语句并调用数据库。 （不要一直做准备语句）。

更好的解决方案是将您信任的用户加载到 Map 的内存中（使用 Trove library，它消耗的内存更少），然后从数据库中检查内存。