有没有办法正确标记（PoS 标记）一起形成短语的单词？

Question

我尝试了各种方法来正确标记一堆组成短语（尤其是名词短语）的单词，但没有成功。

例如：'the'、'first'、'early'、'morning'、'sunbeams'

'early' 和 'morning' 被错误地标记为 'Noun' 预期的结果应该是：('first', 'adverb'), ('early', 'adverb'), ('morning', '形容词'), ('阳光', '名词')

您能否建议一个正确标记这些词的程序？

提前致谢。

Answer 1

POS 标注器通常使用隐马尔可夫模型。如果您的数据未使用这些方法正确标记，那么您的标记器（自制？）不适合您的输入数据，或者您的训练数据不足（太小、错误注释等）。我假设的各种方式是来自 NLTK、spaCy 或来自斯坦福 (https://nlp.stanford.edu/software/) 的工具。这些软件包将在当前研究的质量方面发挥作用，所以如果它仍然容易出错，你将无法修复它。 如果你手头有一个大集群，如果你愿意，可以使用 n > 3 的 n-gram 构建你自己的标注器，但我怀疑这会比上面提到的模块更好。