了解二元组和三元组的 NLTK 搭配评分

Question

背景：

我正在尝试比较成对的单词，以查看在美国英语中哪对单词比另一对单词“更有可能出现”。我的计划是/曾经是使用 NLTK 中的搭配工具对单词对进行评分，得分较高的对最有可能。

方法：

我使用 NLTK 在 Python 中编写了以下代码（为简洁起见，删除了几个步骤和导入）：

bgm    = nltk.collocations.BigramAssocMeasures()
finder = BigramCollocationFinder.from_words(tokens)
scored = finder.score_ngrams( bgm.likelihood_ratio  )
print scored

结果：

然后，我使用 2 个单词对检查了结果，其中一个应该很可能同时出现，另一个不应该出现（“roasted cashews”和“gasoline cashews”）。我很惊讶地看到这些单词配对得分相同：

[(('roasted', 'cashews'), 5.545177444479562)]
[(('gasoline', 'cashews'), 5.545177444479562)]

在我的测试中，我预计“烤腰果”的得分会高于“汽油腰果”。

问题：

1. 我对搭配的使用有误解吗？
2. 我的代码不正确吗？
3. 我认为分数应该不同的假设是错误的吗？如果是，为什么？

非常感谢您提供任何信息或帮助！

Answer 1

NLTK 搭配文档对我来说似乎很不错。 http://www.nltk.org/howto/collocations.html

您需要为记分员提供一些实际相当大的语料库以供使用。这是一个使用 NLTK 中内置的布朗语料库的工作示例。运行大约需要 30 秒。

import nltk.collocations
import nltk.corpus
import collections

bgm    = nltk.collocations.BigramAssocMeasures()
finder = nltk.collocations.BigramCollocationFinder.from_words(
    nltk.corpus.brown.words())
scored = finder.score_ngrams( bgm.likelihood_ratio  )

# Group bigrams by first word in bigram.                                        
prefix_keys = collections.defaultdict(list)
for key, scores in scored:
   prefix_keys[key[0]].append((key[1], scores))

# Sort keyed bigrams by strongest association.                                  
for key in prefix_keys:
   prefix_keys[key].sort(key = lambda x: -x[1])

print 'doctor', prefix_keys['doctor'][:5]
print 'baseball', prefix_keys['baseball'][:5]
print 'happy', prefix_keys['happy'][:5]

输出看起来很合理，对棒球很有效，对医生和快乐则不太适用。

doctor [('bills', 35.061321987405748), (',', 22.963930079491501), 
  ('annoys', 19.009636692022365), 
  ('had', 16.730384189212423), ('retorted', 15.190847940499127)]

baseball [('game', 32.110754519752291), ('cap', 27.81891372457088), 
  ('park', 23.509042621473505), ('games', 23.105033513054011), 
  ("player's",    16.227872863424668)]

happy [("''", 20.296341424483998), ('Spahn', 13.915820697905589), 
 ('family', 13.734352182441569), 
 (',', 13.55077617193821), ('bodybuilder', 13.513265447290536)