BigramTagger 是否需要最小数据大小才能工作？答案

【问题标题】：Is there a minimum data size required for BigramTagger to work?BigramTagger 是否需要最小数据大小才能工作？
【发布时间】：2018-01-30 18:07:37
【问题描述】：

我正在学习 nltk 库中的 BigramTagger 类。我使用 nltk 附带的棕色语料库训练“部分句子”标注器。

我注意到，如果我在这个语料库上进行训练，然后从语料库的第一句话中标记几个单词，效果会很好。

from nltk.corpus import brown
from nltk.tag import BigramTagger 
from nltk import word_tokenize

# Works completely fine:
brown_train = brown.tagged_sents(categories='news')
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))

我们得到预期的输出：

[('that', 'CS'), ('any', 'DTI'), ('irregularities', 'NNS'), ('took', 'VBD'), ('place', ' NN')]

但如果我只训练 100 个句子，它就会失败。

# Fails to work: 
brown_train = brown.tagged_sents(categories='news')[:100]
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))

它没有标记这些词，所以它给了它们 None 标记：

[('that', None), ('any', None), ('irregularities', None), ('took', None), ('place', None)]

课程是否有最低语料库要求？还是有一些我忘记的其他参数导致模型在第二种情况下失败？

我在这里查看了文档：http://www.nltk.org/api/nltk.tag.html#nltk.tag.sequential.BigramTagger，看起来有一个截止参数，但默认设置为 0。

【问题讨论】：

通常，二元组标记器需要一元组才能工作，请参阅github.com/alvations/spaghetti-tagger/blob/master/…
另见：stackoverflow.com/q/40212895/610569
我在这里指出的是一个不一致的地方，我的模型在大型数据集上训练时工作，但在子集上训练时失败，目前尚不清楚原因。
有趣，其实这是一个很好的问题！稍后有空会回答。
@alvas 如果你能回答这个问题，我会很高兴

标签： python nlp nltk

【解决方案1】：

这是一个有趣的问题。 看起来您正在使用训练数据测试您的标注器，但有一个关键的区别：由于您使用的是第一句话的 _a fragment*，因此它的第一个词呈现在与它被用于训练。对您的问题的简短回答是，这不是语料库的大小，而只是在训练中是否看到了相关的上下文。 对于较短的训练数据，第一个单词从未出现在相同的（句首）位置；但对于较长的数据集，它有。

现在了解详细信息：ngram 标注器根据当前单词和 n-1 之前的 POS 标签（“上下文”）选择一个 POS 标签。在句子的开头，一个单词有空的“上下文”；要标记测试短语的第一个单词，标记器需要在训练数据的句子开头看到它。测试短语中的第一个单词是"that"，不大写。它真的发生在训练数据中吗？是的，它可以：

>>> for n, s in enumerate(brown.sents(categories="news")):
        if s[0] == 'that':
            print(n, " ".join(s))

3322 that its persistent use by ballet companies of the Soviet regime indicates that that old spirit is just as stultifying alive today as it ever was ; ;
3323 that its presentation in this country is part of a capitalist plot to boobify the American people ; ;
3324 that its choreography is undistinguished and its score a shapeless assemblage of self-plagiarisms .

就布朗语料库而言，这些是完整的句子。可能是有原因的，但这真的没关系，现在就这样吧。只要您的训练数据至少包含其中一个，您就可以在标注器的内部表中查找上下文：

>>> bigram_tager._context_to_tag[(tuple(), "that")]
'CS'

在你用前 100 个句子训练的标注器上（或者在用前 3000 个句子训练的标注器上，因为在正确的位置仍然没有小写的“that”），尝试同样的事情，你会得到一个 @ 987654325@。没有看到上下文，标注器返回None作为第一个单词的标签。一旦失败，标记第二个单词将失败（再次错误的上下文），等等。

实用建议：始终使用退避标记器（它将使用单词的所有实例来选择标记），用适当的大写标记完整的句子，或两者兼而有之。

【讨论】：