如何计算相关性分数？答案

【问题标题】：How to calculate relevance score?如何计算相关性分数？
【发布时间】：2021-07-22 07:19:55
【问题描述】：

我正在尝试使用来自 json 文件的评论来计算相关性分数。每次我尝试运行我的代码时，它只会说“间接”输出。我做错了什么？

我的代码如下：

import joblib, requests, json, sklearn.metrics, sklearn.model_selection, sklearn.tree, time, math, textblob

import warnings
warnings.filterwarnings("ignore")

response = requests.get("https://appliance_reviews.json")

if response:
    data = json.loads(response.text)
    
    unique = []
    word = []
    for line in data:
        #print(line)
        
        review = line["Review"]
        blob = textblob.TextBlob(review)
        
        for word in blob.words:
            
            if word.lower() not in unique:
                unique.append(word.lower())
   
    for word in unique:
        a = 0
        b = 0
        c = 0
        d = 0
       
        for line in data:
           
            review = line["Review"]
            safety = line["Safety hazard"]
           
            if word in review.lower() and safety == 1:
                a += 1
            if word in review.lower() and safety == 0:
                b += 1
            if word in review.lower() and safety == 1:
                c += 1
            if word in review.lower() and safety == 0:
                d += 1
        
        try:
            rel_score = (math.sqrt(a + b + c + d) * ((a + d) - (c * b))) / math.sqrt((a + b) * (c + d))
        except:

            rel_score = 0
            
        if rel_score >= 4000:
            score.append(word)
    print(word)

【问题讨论】：

请提供预期见MRE - Minimal, Reproducible Example。显示中间结果与预期结果的偏差。我们应该能够将您的代码块粘贴到文件中，运行它并重现您的问题。这也让我们可以在您的上下文中测试任何建议。
您发布的代码不是最少的：您已经导入了 10 个包来支持相关性分类。您还没有追踪中间结果，而且您通过使用通用变量名称而不解释您的算法使我们难以做到这一点。
您希望总共获得多少单词？对行动规模的想法可能会导致不同的选择。

标签： python relevance

【解决方案1】：

word 将是您在给定代码的最后一行打印时unique 中的最后一个条目，无论其得分如何。您刚刚退出了 for 循环，其中 word 是迭代变量。

你确定不想打印score，好像是为了积累unique的高分词？

我也认为你的得分被打破了。例如，编码时，a 和 c 总是相等的，b 和 d 也是如此。 “carpet”会影响“car”、“pet”甚至“carp”的得分。

正如 Prune 在 cmets 中提到的那样，您对变量名称的平淡选择使理解代码的目的变得困难。

【讨论】：