如何提高我的推荐结果？我正在使用 spark ALS 隐式

Question

首先，我有一些用户应用的使用历史。

例如：
user1、app1、3（启动时间）
user2、app2、2（启动时间）
user3, app1, 1（启动时间）

我基本上有两个诉求：

1. 为每个用户推荐一些应用程序。
2. 为每个应用推荐类似的应用。

所以我在 spark 上使用 MLLib 的 ALS（隐式）来实现它。起初，我只是使用原始数据来训练模型。结果是可怕的。我认为这可能是由发射时间范围引起的。发射时间范围从 1 到数千。所以我处理原始数据。我觉得score更能反映真实情况，更正则化。

score = lt / uMlt + lt / aMlt

score 是训练模型的过程结果。
lt 是原始数据中的启动时间。
uMlt 是用户的平均值原始数据中的启动时间。 uMlt（用户的所有启动时间）/（此用户曾经启动的应用数量）
aMlt 是原始数据中应用的平均启动时间。 aMlt（应用的所有启动时间）/（曾经启动此应用的用户数）
这是处理后的数据的一些示例。

评分(95788,20992,0.14167073369026184)
评分(98696,20992,5.92363166809082)
评分(160020,11264,2.261538505554199)
评分(67904,11264,2.261538505554199)
评分(268430,11264,0.13846154510974884)
评分(201369,11264,1.7999999523162842)
评分(180857,11264,2.2720916271209717)
评分(217692,11264,1.3692307472229004)
评分(186274,28672,2.4250855445861816)
评分(120820,28672,0.4422124922275543)
评分（221146,28672,1.0074234008789062）

完成此操作后，聚合具有不同包名称的应用程序，结果似乎更好。但还是不够好。
我发现用户和产品的特征是如此之少，而且大部分是负面的。

这里是产品特征的 3 行示例，每行 10 个维度：

((CompactBuffer(com.youlin.xyzs.shoumeng, com.youlin.xyzs.juhe.shoumeng)),(-4.798973236574966E-7,-7.641608021913271E-7,6.040852440492017E-7,2.82689171626771 -4.255948056197667E-7,1.815822798789668E-7,5.000047167413868E-7,2.0220664964654134E-7,6.386763402588258E-7,-4.289261710255232E)7)
- （（CompactBuffer（com.dncfcjaobhegbjccdhandkba.huojia）），（ - 4.769295992446132E-5，-1.7072002810891718E-4,2.1351299074012786E-4,1.6345139010809362E-4，-1.4456869394052774E-4,2.3657752899453044E-4，-4.508546771830879E- 5,2.0895185298286378E-4,2.968782791867852E-4,1.9461760530248284E-4))
（（CompactBuffer（com.tern.rest.pron）），（ - 1.219763362314552E-5，-2.8371430744300596E-5,2.9869115678593516E-5,2.0747662347275764E-5，-2.0555471564875916E-5,2.632938776514493E-5,2.934047643066151E -6,2.296348611707799E-5,3.8075613701948896E-5,1.2197584510431625E-5))

这是用户特征的 3 行示例，每行 10 个维度：

（96768，（ - 0.0010857731103897095，-0.001926362863741815,0.0013726564357057214,6.345533765852451E-4，-9.048808133229613E-4，-4.1544197301846E-5,0.0014421759406104684，-9.77902309386991E-5,0.0010355513077229261，-0.0017878251383081079）），点击 （97280，（ - 0.0022841691970825195，-0.0017134940717369318,0.001027365098707378,9.437055559828877E-4，-0.0011165080359205604,0.0017137592658400536,9.713359759189188E-4,8.947265450842679E-4,0.0014328152174130082，-5.738904583267868E-4）），点击 （97792，（ - 0.0017802991205826402，-0.003464450128376484,0.002837196458131075,0.0015725698322057724，-0.0018932095263153315,9.185600210912526E-4,0.0018971719546243548,7.250450435094535E-4,0.0027060359716415405，-0.0017731878906488419）） P>

所以你可以想象当我得到特征向量的点积来计算用户项目矩阵的值时有多小。

我的问题是：

1. 有没有其他方法可以提高推荐结果？
2. 我的功能看起来是正确的，还是有问题？
3. 我处理原始启动时间的方法（转换为 score）对吗？

我在这里放了一些代码。这绝对是一个程序问题。但也许不是几行代码就能解决的。

val model = ALS.trainImplicit(ratings, rank, iterations, lambda, alpha)
print("recommendForAllUser")
val userTopKRdd = recommendForAllUser(model, topN).join(userData.map(x => (x._2._1, x._1))).map {
  case (uid, (appArray, mac)) => {
    (mac, appArray.map {
      case (appId, rating) => {
        val packageName = appIdPriorityPackageNameDict.value.getOrElse(appId, Constants.PLACEHOLDER)
        (packageName, rating)
      }
    })
  }
}
HbaseWriter.writeRddToHbase(userTopKRdd, "user_top100_recommendation", (x: (String, Array[(String, Double)])) => {
  val mac = x._1
  val products = x._2.map {
    case (packageName, rating) => packageName + "=" + rating
  }.mkString(",")
  val putMap = Map("apps" -> products)
  (new ImmutableBytesWritable(), Utils.getHbasePutByMap(mac, putMap))
})

print("recommendSimilarApp")
println("productFeatures ******")
model.productFeatures.take(1000).map{
  case (appId, features) => {
    val packageNameList = appIdPackageNameListDict.value.get(appId)
    val packageNameListStr = if (packageNameList.isDefined) {
      packageNameList.mkString("(", ",", ")")
    } else {
      "Unknow List"
    }
    (packageNameListStr, features.mkString("(", ",", ")"))
  }
}.foreach(println)
println("productFeatures ******")
model.userFeatures.take(1000).map{
  case (userId, features) => {
    (userId, features.mkString("(", ",", ")"))
  }
}.foreach(println)
val similarAppRdd = recommendSimilarApp(model, topN).flatMap {
  case (appId, similarAppArray) => {
    val groupedAppList = appIdPackageNameListDict.value.get(appId)
    if (groupedAppList.isDefined) {
      val similarPackageList = similarAppArray.map {
        case (destAppId, rating) => (appIdPriorityPackageNameDict.value.getOrElse(destAppId, Constants.PLACEHOLDER), rating)
      }
      groupedAppList.get.map(packageName => {
        (packageName, similarPackageList)
      })
    } else {
      None
    }
  }
}
HbaseWriter.writeRddToHbase(similarAppRdd, "similar_app_top100_recommendation", (x: (String, Array[(String, Double)])) => {
  val packageName = x._1
  val products = x._2.map {
    case (packageName, rating) => packageName + "=" + rating
  }.mkString(",")
  val putMap = Map("apps" -> products)
  (new ImmutableBytesWritable(), Utils.getHbasePutByMap(packageName, putMap))
})  

更新：
阅读论文（“隐式反馈数据集的协作过滤”）后，我发现了一些关于我的数据的新内容。与论文中描述的 IPTV 数据集相比，我的数据太稀疏了。

纸张：300,000（用户）17,000（产品）32,000,000（数据）
我的：300,000（用户）31,000（产品）700,000（数据）

所以论文数据集中的用户-项目矩阵已经填充了 0.00627 = (32,000,000 / 300,000 / 17,000)。我的数据集的比率是 0.0000033。我认为这意味着我的用户项矩阵比论文的矩阵稀疏 2000 倍。
这会导致不好的结果吗？有什么方法可以改进吗？

Answer 1

您应该尝试两件事：

1. 标准化您的数据，使其每个用户向量的均值和单位方差为零。这是许多机器学习中的常见步骤。它有助于减少异常值的影响，这些异常值会导致您看到的值接近于零。
2. 删除所有只有一个应用程序的用户。您将从这些用户那里学到的唯一一件事是应用程序分数的“平均”值稍好一些。但是，它们不会帮助您了解任何有意义的关系，而这正是您真正想要的。

从模型中删除用户后，您将无法通过提供用户 ID 直接从模型中为该用户获得推荐。但是，无论如何，它们只有一个应用评级。因此，您可以改为在产品矩阵上运行 KNN 搜索，以查找与该用户最相似的应用程序 apps = 推荐。