文本相似度算法，优化问题答案

【问题标题】：Text similarity algorithm, optimization concerns文本相似度算法，优化问题
【发布时间】：2011-08-21 22:18:27
【问题描述】：

我有一个 django 博客，我正在为它编写一个简单的类似文本算法。下面的代码是我用我的博客数据库的副本测试的代码。（注：代码原本是土耳其语，为了方便，我把变量名改成了英文。因此，事情可能看起来很奇怪。）

# -*- coding:utf-8 -*-
from django.utils.html import strip_tags
import os
import sys
import math
import re
PROJECT_FOLDER = os.path.abspath(os.path.dirname(__file__))
UPPER_FOLDER = os.path.abspath(PROJECT_FOLDER + "/../")
sys.path.append(UPPER_FOLDER)
os.environ["DJANGO_SETTINGS_MODULE"] = "similarity.settings"
from blog.models import Post

def getWords(post_object):
    all = post_object.title + " " + post_object.abstract + " " + post_object.post
    all = strip_tags(all.lower())

    regex = re.compile("\W+",flags=re.UNICODE)
    return re.split(regex,all)

def count_things(what_to_count,the_set):
    num = 0
    for the_thing in the_set:
        if what_to_count in the_thing[1]:
            num += 1
    return num

a = Post.objects.all()
b = []
for post in a:
    b.append((post.title,getWords(post)))
del(a)

def adjustWeight(the_list,the_word):
    numOccr = the_list.count(the_word)
    if numOccr == 0:
        return 0
    else:
        return math.log(numOccr,1.6)


results = []
uniques = []
for i in range(0,len(b)):
    for a_word in b[i][1]:
        if a_word not in uniques:
            uniques.append(a_word)

for i in range(1,len(b)):

    for j in range(0,i):

        upper_part = 0
        sum1 = 0
        sum2 = 0

        for a_word in uniques:

            adjusted1 = adjustWeight(b[i][1],a_word)
            adjusted2 = adjustWeight(b[j][1],a_word)

            upper_part +=  adjusted1 * adjusted2 * math.log(len(b)/count_things(a_word,b))
            sum1 += adjusted1
            sum2 += adjusted2


        lower_part = math.sqrt(sum1 * sum2)

        results.append((b[i][0], b[j][0], upper_part/lower_part))

results = sorted(results, key = lambda x: x[2])
results.reverse()
print("\n".join(["%s and %s => %f" % (x,c,v) for x,c,v in results]).encode("utf-8"))

简而言之，它的作用是比较所有可能的配对并输出相似性报告。现在我想要将它与我的博客合并。然而，这是一个非常昂贵的代码，所以需要一些优化。这就是我的想法。

我将有一个 python 文件的 cron 作业，它将新添加或修改的文本与所有其他文本进行比较，并将相似度分数存储在数据库中以供使用。

我想到的另一件事是，打开另一个表并对其进行一些索引，如下所示：“帖子 ID”“单词”“出现次数”，所以不是阅读帖子，而是每次都计算单词，我会只需从数据库中读取该数据，其中一切都已完成。

我想知道你对此有何看法。我想了解其他人，因为我不是这个问题的专家。

【问题讨论】：

标签： python database optimization similarity

【解决方案1】：

如果你想做基于文本相似性的搜索，你最好使用像 Sphinx 这样的搜索服务器：http://sphinxsearch.com/

【讨论】：