【问题标题】:Mahout Recommendation performance issuesMahout 推荐性能问题
【发布时间】:2013-07-17 13:41:21
【问题描述】:

我一直在与 Mahout 合作,根据以下数据创建推荐引擎:

  • 10 万用户
  • 10k 项
  • 4M 评分

我在 Tomcat 上使用以下 JVM 参数运行它:

-Xms1024M -Xmx1024M -da -dsa -XX:NewRatio=9 -server

推荐用了大约6s,好像很慢!如何提高 Mahout 的性能?

我正在使用以下代码:

这部分在启动时运行一次:

JDBCDataModel jdbcdatamodel = new MySQLJDBCDataModel(dataSource);
dataModel = new ReloadFromJDBCDataModel(jdbcdatamodel);

ItemSimilarity similarity = new CachingItemSimilarity(new EuclideanDistanceSimilarity(model), model);
SamplingCandidateItemsStrategy strategy = new SamplingCandidateItemsStrategy(10, 5);
recommender = new CachingRecommender(new GenericItemBasedRecommender(model, similarity, strategy, strategy));

而且,对于我所做的每个用户请求:

recommender.recommend(userId, howMany);

【问题讨论】:

  • 瓶颈是数据库访问
  • @JulianOrtega ReloadFromJDBCDataModel 将数据模型从数据库加载到内存中,所以这只需要一次时间,或者我错过了什么?
  • 好吧,既然你实际上并没有分享生成推荐的代码,我不得不猜测一下
  • @JulianOrtega 抱歉不准确,我将帖子编辑得更准确。

标签: performance mahout mahout-recommender


【解决方案1】:

我会建议一种不同的方法。使用每晚作业,为所有用户预先计算推荐,并将结果每晚加载到 MySQL 表中。这将使显示建议只不过是一个简单的数据库调用。

由于您有 10K 项,为了计算单个用户 mahout 的建议,必须在内部将 (10k x 10K) 矩阵与另一个 (10K X 1) 矩阵相乘。考虑到大小,6 秒似乎相当快。 Reference

现在,如果您在 hadoop 和 AWS EMR 上使用 RecommenderJob,则处理您规模上的数据大约需要 10 分钟。或者,您可以通过简单地使用循环并按顺序为所有用户预先计算,以非分布式方式完成相同的工作。缺点是您的建议总是落后 1 天或 6 小时或您选择的任何工作频率。

【讨论】:

  • 好主意,但如果我必须根据用户正在观看的页面进行推荐怎么办?
  • 由于他使用的是ItemSimilarity,因此您显示的项目类似于用户刚刚打开的页面。如果您需要 UserSimilarity 模型 - 那么这种批量离线方法不是那么有用 - 考虑流式传输而不是批量方法
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2012-01-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-04-18
  • 1970-01-01
相关资源
最近更新 更多