评估 NLTK 中的词性标注器

Question

我想使用文本文件作为输入来评估 NLTK 中的不同 POS 标签。

例如，我将使用 Unigram 标注器。我发现了如何使用棕色语料库评估 Unigram 标签。

from nltk.corpus import brown
import nltk

brown_tagged_sents = brown.tagged_sents(categories='news')
brown_sents = brown.sents(categories='news')
# We train a UnigramTagger by specifying tagged sentence data as a parameter
# when we initialize the tagger.
unigram_tagger = nltk.UnigramTagger(brown_tagged_sents)
print(unigram_tagger.tag(brown_sents[2007]))
print(unigram_tagger.evaluate(brown_tagged_sents))

它产生如下输出。

[('Various', 'JJ'), ('of', 'IN'), ('the', 'AT'), ('apartments', 'NNS'), ('are', 'BER'), ('of', 'IN'), ('the', 'AT'), ('terrace', 'NN'), ('type', 'NN'), (',', ','), ('being', 'BEG'), ('on', 'IN'), ('the', 'AT'), ('ground', 'NN'), ('floor', 'NN'), ('so', 'QL'), ('that', 'CS'), ('entrance', 'NN'), ('is', 'BEZ'), ('direct', 'JJ'), ('.', '.')]
0.9349006503968017

以类似的方式，我想从文本文件中读取文本并评估不同 POS 标记器的准确性。

我想出了如何读取文本文件以及如何为令牌应用 pos 标签。

import nltk
from nltk.corpus import brown
from nltk.corpus import state_union

brown_tagged_sents = brown.tagged_sents(categories='news')

sample_text = state_union.raw(
    r"C:\pythonprojects\tagger_nlt\new-testing.txt")
tokens = nltk.word_tokenize(sample_text)

default_tagger = nltk.UnigramTagger(brown_tagged_sents)

default_tagger.tag(tokens)

print(default_tagger.tag(tokens))
[('Honestly', None), ('last', 'AP'), ('seven', 'CD'), ('lectures', None), ('are', 'BER'), ('good', 'JJ'), ('.', '.'), ('Lectures', None), ('are', 'BER'), ('understandable', 'JJ')

我想要的是一个类似 default_tagger.evaluate() 的分数，这样我就可以使用相同的输入文件比较 NLTK 中的不同 POS 标记器，以确定最适合给定的 POS 标记器文件。

任何帮助将不胜感激。

Answer 1

这个问题本质上是关于模型评估指标的问题。在这种情况下，我们的模型是一个词性标注器，特别是UnigramTagger

量化

您想知道您的标注员在做什么“how well”。这是一个qualitative 问题，所以我们有一些通用的quantitative 指标来帮助定义“how well”的含义。基本上，我们有标准的指标来为我们提供这些信息。它们通常是accuracy、precision、recall 和f1-score。

评估

首先，我们需要一些用POS tags 标记的数据，然后我们可以进行测试。这通常被称为train/test 拆分，因为我们使用一些数据来训练 POS 标注器，还有一些用于测试或evaluating 它的性能。

由于 POS 标记传统上是一个supervised learning 问题，我们需要一些带有 POS 标记的句子来训练和测试。

在实践中，人们标记一堆句子，然后将它们拆分为test 和train 集合。 NLTK book解释的很好，我们来试试吧。

from nltk import UnigramTagger
from nltk.corpus import brown
# we'll use the brown corpus with universal tagset for readability
tagged_sentences = brown.tagged_sents(categories="news", tagset="universal")

# let's keep 20% of the data for testing, and 80 for training
i = int(len(tagged_sentences)*0.2)
train_sentences = tagged_sentences[i:]
test_sentences = tagged_sentences[:i]

# let's train the tagger with out train sentences
unigram_tagger = UnigramTagger(train_sentences)
# now let's evaluate with out test sentences
# default evaluation metric for nltk taggers is accuracy
accuracy = unigram_tagger.evaluate(test_sentences)

print("Accuracy:", accuracy)
Accuracy: 0.8630364649525858

现在，accuracy 是了解“how many you got right”的好指标，但还有其他指标可以为我们提供更多详细信息，例如 precision、recall 和 f1-score。我们可以使用sklearn 的classification_report 给我们一个很好的结果概览。

tagged_test_sentences = unigram_tagger.tag_sents([[token for token,tag in sent] for sent in test_sentences])
gold = [str(tag) for sentence in test_sentences for token,tag in sentence]
pred = [str(tag) for sentence in tagged_test_sentences for token,tag in sentence]
from sklearn import metrics
print(metrics.classification_report(gold, pred))

             precision    recall  f1-score   support

          .       1.00      1.00      1.00      2107
        ADJ       0.89      0.79      0.84      1341
        ADP       0.97      0.92      0.94      2621
        ADV       0.93      0.79      0.86       573
       CONJ       1.00      1.00      1.00       453
        DET       1.00      0.99      1.00      2456
       NOUN       0.96      0.76      0.85      6265
        NUM       0.99      0.85      0.92       379
       None       0.00      0.00      0.00         0
       PRON       1.00      0.96      0.98       502
        PRT       0.69      0.96      0.80       481
       VERB       0.96      0.83      0.89      3274
          X       0.10      0.17      0.12         6

avg / total       0.96      0.86      0.91     20458

现在我们有一些想法和价值观可以用来量化我们的标注器，但我相信你在想，“That's all well and good, but how well does it perform on random sentences?”

简单地说，就是其他答案中提到的，除非你有我们要测试的句子的 POS 标记数据，否则我们永远无法确定！

Answer 2

您需要自己或从其他来源读取手动标记的数据。然后按照您评估一元标记器的方式。您不需要标记手动标记的数据。假设你的新标签数据保存在一个名为yash_new_test的变量中，那么你需要做的就是执行这个命令：

 `print(unigram_tagger.evaluate(yash_new_test))`

我希望这会有所帮助！