不同的词情感分析

Question

我尝试根据 7000 个单词的词典进行情绪分析。该代码在 Python 中工作，但它选择所有组合而不是不同的单词。

例如，字典显示enter，文本显示enterprise。如何更改它认为不匹配的代码？

dictfile = sys.argv[1]
textfile = sys.argv[2]

a = open(textfile)
text = string.split( a.read() )
a.close()

a = open(dictfile)
lines = a.readlines()
a.close()

dic = {}
scores = {}

current_category = "Default"
scores[current_category] = 0

for line in lines:
   if line[0:2] == '>>':
       current_category = string.strip( line[2:] )
       scores[current_category] = 0
   else:
       line = line.strip()
       if len(line) > 0:
           pattern = re.compile(line, re.IGNORECASE)
           dic[pattern] = current_category

for token in text:
   for pattern in dic.keys():
       if pattern.match( token ):
           categ = dic[pattern]
           scores[categ] = scores[categ] + 1

for key in scores.keys():
   print key, ":", scores[key]

Answer 1

.match() 从行首开始匹配。所以你可以在你的正则表达式中使用行尾锚：

re.compile(line + '$')

或者你可以使用单词边界：

re.compile('\b' + line + '\b')

Answer 2

1. 您的缩进不连贯。有些关卡使用 3 个空格，有些使用 4 个空格。

2. 您尝试将文本中的每个单词与字典中的所有 7000 个单词进行匹配。相反，只需在字典中查找这个词。如果不存在，请忽略错误（EAFP 原则）。

3. 另外，我不确定使用类方法 (string.split()) 是否比对象方法 ("".split()) 有任何优势。

4. Python 也有一个 defaultdict，它自己用 0 初始化一个字典。

编辑：

5. 我使用.read()和.split('\n')，而不是.readlines()。这消除了换行符。

6. 不是在默认空格字符而是在正则表达式'\W+'（所有不是“单词字符”的）分割文本是我摆脱标点符号的尝试。

在我建议的代码下方：

import sys
from collections import defaultdict

dictfile = sys.argv[1]
textfile = sys.argv[2]

with open(textfile) as f:
    text = f.read()

with open(dictfile) as f:
    lines = f.read()

categories = {}
scores = defaultdict(int)

current_category = "Default"
scores[current_category] = 0

for line in lines.split('\n'):
    if line.startswith('>>'):
        current_category = line.strip('>')
    else:
        keyword = line.strip()
        if keyword:
            categories[keyword] = current_category

for word in re.split('\W+', text):
    try:
        scores[categories[word]] += 1
    except KeyError:
        # no in dictionary
        pass

for keyword in scores.keys():
    print("{}: {}".format(keyword, scores[keyword]))