在 mahout(taste) 中使用 GenericItemSimilarity 时如何提高内存使用率

Question

众所周知，在 genericItemSimilarity 中，item1 和 item2 之间的相似度是预先计算的。

当我们使用 GenericItemBasedRecommender 获得推荐时，the recommender need datamodel and similarity in memory at the same time.根据 genericItemSimilarity，它提供了这样的构造

  public GenericItemSimilarity(ItemSimilarity otherSimilarity, DataModel dataModel) throws TasteException {
        long[] itemIDs = GenericUserSimilarity.longIteratorToList(dataModel.getItemIDs());
        initSimilarityMaps(new DataModelSimilaritiesIterator(otherSimilarity, itemIDs));
  }

只需使用dataModel及时生成相似度图。

是否有必要将相似度图存储到 Db/file 中？

我发现 mahout 0.7 有一个名为 FileItemItemSimilarityIterator 的类有助于从文件中读取相似度图。

是FileItemItemSimilarityIterator或AbstractJDBCInMemoryItemSimilarity(mahout 0.5)冗余还是无奈。

Answer 1

如果它们可以在运行中快速重新计算，您根本不必将相似之处存储在内存中。

如果不是，我建议您简单地修剪绝对值较小的相似性。这些对计算的影响最小。