根据术语的位置对文本字符串进行排名答案

【问题标题】：Rank text strings based on location of terms根据术语的位置对文本字符串进行排名
【发布时间】：2013-06-18 08:17:42
【问题描述】：

我基本上需要一些数学来根据以下指标对短输入句子进行排名：

1) 术语相对于句子开头的距离（注意：相对术语距离，没有编辑距离！）。例如，搜索“a”应该给句子“a b”比“b a”更高的排名，因为 a 更接近句子的开头。

2) 术语之间的距离。例如搜索 "a" AND "b" 的排名应该高于 "a ccc b"，因为 a 和 b 更接近。

3) 基于术语顺序的排名。例如搜索 a AND b 的“a b”排名应该高于“b a”，因为它是正确的顺序。尽管如此，b a 也应该在结果集中，因此它也必须按较低的权重进行排名。

4) 单词本身是未加权的。这是与普遍常见的内容以及我可以轻松找到信息的主要区别。但在我的情况下，所有术语都具有相同的权重，无论它们在文档中出现/计数或其他。

我已完成研究，但没有找到匹配项。你知道什么排名算法会匹配，或者至少接近这个吗？

【问题讨论】：

对于（2），您的意思是“搜索'a' 和'b'”吗？否则真的没有意义。你刚才描述的本身不就是一种排名算法吗？您需要做的就是为 1-3 分配权重。
是否所有的词都必须在匹配的句子中，或者如果存在的词少，句子的权重会降低吗？

标签： algorithm sorting ranking

【解决方案1】：

计算每个搜索词在主题字符串中的位置。
计算搜索字符串中所有词条的平均位置。
计算主题字符串和搜索词列表中平均位置之间的绝对差值。
计算术语位置相对于平均值的绝对差值。

decimal Rank(string subject, IList<string> terms)
{
    // Isolate all the words in the subject.
    var words = Regex.Matches(subject, @"\w+")
        .Cast<Match>()
        .Select(m => m.Value.ToLower())
        .ToList();

    // Calculate the positions
    var positions = new List<int>();
    var sumPositions = 0;
    foreach (var term in terms)
    {
        int pos = words.IndexOf(term.ToLower());
        if (pos < 0) return decimal.MaxValue;
        positions.Add(pos);
        sumPositions += pos;
    }

    // Calculate the difference in average positions
    decimal averageSubject = (decimal) sumPositions / terms.Count;
    decimal averageTerms = (terms.Count - 1) / 2m; // average(0..n-1)
    decimal rank = Math.Abs(averageSubject - averageTerms);

    for (int i = 0; i < terms.Count; i++)
    {
        decimal relativePos1 = positions[i] - averageSubject;
        decimal relativePos2 = i - averageTerms;
        rank += Math.Abs(relativePos2 - relativePos1);
    }

    return rank;
}

我使用较低的值以获得更好的匹配，因为它比每次匹配的得分更容易衡量与完美匹配的距离。

示例

Subject     Terms       Rank
"a b"       "a"         0.0
"b a"       "a"         1.0
"ccc a b"   "a", "b"    1.0
"a ccc b"   "a", "b"    1.5
"a b"       "a", "b"    0.0
"b a"       "a", "b"    2.0

【讨论】：