【问题标题】:Effect of randomness on search results随机性对搜索结果的影响
【发布时间】:2015-04-20 22:32:56
【问题描述】:

我目前正在研究一种搜索排名算法,该算法将应用于弹性搜索查询(域:电子商务)。它为返回的几个实体分配分数,最后根据分配的分数对它们进行排序。

我的问题是: 有没有人尝试过在任何搜索算法中引入一定程度的随机性并体验过它的积极影响。我认为减少偏见和推广排名较低的项目可能会很有用,这样他们就有机会更容易被看到并在他们应得的情况下受到欢迎。我知道一些机器学习算法正在引入一些随机化来减少偏差,所以我认为它也可以应用于搜索。

我能得到的最接近的是这个,但不完全是我希望得到的答案: Randomness in Artificial Intelligence & Machine Learning

【问题讨论】:

  • 您是否要求随机性带来好处并有助于解决问题的系统?
  • 不完全是。据我了解,您正在尝试描述基于启发式算法的系统,该系统可能会使用随机性来帮助解决问题。我想学习的是搜索引擎类型的系统,如谷歌搜索或电子商务搜索引擎......
  • 您希望排名算法具有随机性,但我认为您的搜索应该是确定性的。想象一个用户在两次搜索同一个项目时得到不同的结果。

标签: search elasticsearch machine-learning e-commerce


【解决方案1】:

您的帖子中没有提到这一点... Elasticsearch 提供了随机评分功能:https://www.elastic.co/guide/en/elasticsearch/guide/master/random-scoring.html

作为网站的所有者,您希望为您的广告客户提供尽可能多的曝光率。使用当前查询,每次都会以相同的顺序返回具有相同_score 的结果。最好在此处引入一些随机性,以确保单个分数级别中的所有文档获得相似的曝光量。

我们希望每个用户看到不同的随机顺序,但我们希望同一用户在单击第 2、3 等页面时看到相同的顺序。这就是持续随机的含义。

random_score 函数输出一个介于 0 和 1 之间的数字,当提供相同的种子值(例如用户的会话 ID)时,将产生一致的随机结果

【讨论】:

    【解决方案2】:

    您的直觉是正确的 - 随机化可以帮助显示由于估计的不确定性而导致得分低于应得分数的结果。根据经验,谷歌搜索广告有时似乎是随机的,例如this paper 暗示了这一点(参见第 6 节)。

    这个问题描述了一类问题的实例,称为探索/利用算法,或多臂强盗问题;参见例如http://en.wikipedia.org/wiki/Multi-armed_bandit。有大量的数学理论和算法方法。一般的想法是不总是按预期的“最佳”效用排序,而是按考虑到不确定性程度的乐观估计进行排序。可以在here 找到一篇可读的、激励性的博文。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-09-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-09-21
      • 1970-01-01
      • 1970-01-01
      • 2011-07-13
      相关资源
      最近更新 更多