将布朗语料库标签集转换为 upenn 标签集

Question

我想在布朗语料库中查找带有特定 upenn 标记的单词。我尝试使用以下代码执行此操作：

poss = ['TO', 'NNS', 'RB', 'DT', 'VBD', 'JJ', 'RBS',
       'PDT', 'IN', 'VBN', 'RP', 'NN', 'VB', 'CC',
       'JJS', 'VBG', 'WRB', 'PRP$', 'WP$', 'WP',
       'EX', 'CD', 'JJR', 'VBZ', 'MD', 'VBP', 'WDT', 'PRP', 'RBR']

PARTS_OF_SPEECH = {p: set() for p in poss}

words = set([(w, t) for w, t in nltk.corpus.brown.tagged_words()])

for word, tag in words:
    if tag in poss:
         PARTS_OF_SPEECH[tag].add(word)

所以我可以通过PARTS_OF_SPEECH["NN"] 获取所有带有 upenn 标签“NN”的 Brown 单词。

不幸的是，这不起作用，因为brown.tagged_words() 返回带有 Brown 标签而不是 upenn 标签的单词，两者略有不同。我知道brown.tagged_words() 有一个tagset 关键字参数，但我找不到除了“通用”之外的任何参数，这不是我想要的。有没有返回 upenn 标签的参数？

Answer 1

目前，这似乎是不可能的（请参阅this 问题）。使用第三方工具（例如 this）的变通办法可能会奏效。