基于 100 加权的 Elasticsearch 随机选择

Question

我已经运行 Rails 网站几年了，一些文章是根据权重字段从数据库中提取的。数据结构为：

{name: 'Content Piece 1', weight: 50}
{name: 'Content Piece 2', weight: 25}
{name: 'Content Piece 3', weight: 25}

我最初编写的 Ruby 代码如下所示：

choices = []
sum = articles.inject(0.0) { |sum, article|
  sum += listing['weight']
}
pick = rand(sum)
choices << articles.detect { |listing|
  if pick <= listing['weight']
    true
  else
    pick -= listing['weight']
    false
  end
}

这很适合提取每个内容并尊重重量。在整个数据集上运行此代码 100 次后，我多次根据权重得到分布相当好的内容片段：

100.times do
  choices = []
  sum = articles.inject(0.0) { |sum, article|
    sum += listing['weight']
  }
  pick = rand(sum)
  choices << articles.detect { |listing|
    if pick <= listing['weight']
      true
    else
      pick -= listing['weight']
      false
    end
  }
end

{:total_runs=>100, "Content Piece 1"=>51, "Content Piece 2"=>22, "Content Piece 3"=>27}
{:total_runs=>100, "Content Piece 1"=>53, "Content Piece 2"=>30, "Content Piece 3"=>17}

我现在开始更频繁地使用 ElasticSearch，我希望我可以在 ES 中索引数据并根据权重提取内容。

我发现了一篇 SO 帖子，其中讨论了非常相似的内容，可以在这里找到：

Weighted random sampling in Elasticsearch

我已拉出搜索查询并对其进行了更改以匹配我的数据结构：

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "random_score": {}
        },
        {
          "field_value_factor": {
            "field": "weight",
            "modifier": "none",
            "missing": 0
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

这个查询确实尊重权重，并且拉出权重为 50 的内容片段比其他 2 个权重为 25 的内容片段多很多，但它不会将内容分配到总权重 100 中，如果这是有道理的。我运行此查询 100 次并得到如下结果：

{:total_runs=>100, "Content Piece 1"=>70, "Content Piece 2"=>22, "Content Piece 3"=>8}
{:total_runs=>100, "Content Piece 1"=>81, "Content Piece 2"=>7, "Content Piece 3"=>12}
{:total_runs=>100, "Content Piece 1"=>90, "Content Piece 2"=>3, "Content Piece 3"=>7}

由于我是 ES 新手，并且仍在学习查询、评分等的细节，我想知道是否有人可以提供解决方案来更模仿我编写的 Ruby 代码，以便更有效地根据权重分配内容满分 100 分。Painless 脚​​本是否适用于移植 Ruby 代码？

我希望这是有道理的，如果您还有任何问题可以帮助解释我想要实现的目标，请告诉我。谢谢！

Answer 1

您的 elasticsearch 查询是正确的，您不需要脚本来执行您想要的操作。这只是概率问题。简而言之，将 50 乘以 40 的乘数（即field_value_factor）替换为 25 乘以 30 的乘数，您将得到预期的结果。

基本上，问题在于将随机值乘以权重不会产生权重为乘数的加权分布。乘数可以从权重中推导出来，但是不一样。

我可以给你一个例子。对于权重 50，如果随机值在 0.5 以上，则必然得分最高（0.5 * 50 >= 1 * 25）。由于 0.5 的值作为 50% 的概率，您现在可以确定重量为 50 的项目将至少有一半的时间被退回。

但是即使权重50的随机值低于0.5，仍然可以被选中。事实上，在这种情况下它被选中的概率是 1/3。

我对你的结果有点惊讶，因为它的概率应该更像 66%（即 50% + 50%/3），而其他概率应该在 16.5% 左右。也许可以尝试增加运行次数来确定。

使用script_score 解决任何重量

您不需要使用此解决方案计算乘数，但您必须为每个文档提供一个范围，例如 min_value 和 max_value。 max_value是min_value和文档权重之和，min_value是之前文档权重的累加和。

如果您有例如 4 个权重分别为 5、15、30、50 的文档，那么范围可能是：

• 权重为 5 的文档：min_value = 0，max_value = 5
• 权重为 15 的文档：min_value = 5，max_value = 5+15 = 20
• 权重为 30 的文档：min_value = 20，max_value = 20+30 = 50
• 权重为 30 的文档：min_value = 50，max_value = 50+50 = 100

对应的elasticsearch查询是

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "script_score": {
               "script" : {
                    "params": {
                        "random": <RANDOM_VALUE>,
                    },
                    "source": "params.random >= doc['min_value'].value && params.random < doc['max_value'].value ? 1 : 0"
                }
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

查询中的 random 参数应针对每个请求计算，并且必须介于 0 和所有权重的总和之间（在您的情况下为 100，但不是必须如此）。

这种方法的问题在于，如果您更改权重，则必须更新所有文档的范围，因为累积总和会发生变化。如果您最多有 20 个文档并且您不经常更新权重，这应该不是问题。