斯坦福公司 NLP 返回错误结果

Question

在this 问题之后，我正在尝试使用 stanford corenlp 进行词形还原。我的环境是：-

• Java 1.7
• Eclipse 3.4.0
• StandfordCoreNLP 版本 3.4.1 (downloaded from here)。

我的代码 sn-p 是：-

//...........lemmatization starts........................

    Properties props = new Properties(); 
    props.put("annotators", "tokenize, ssplit, pos, lemma"); 
    StanfordCoreNLP pipeline = new StanfordCoreNLP(props, false);
    String text = "painting"; 
    Annotation document = pipeline.process(text);  

    List<edu.stanford.nlp.util.CoreMap> sentences = document.get(SentencesAnnotation.class);

    for(edu.stanford.nlp.util.CoreMap sentence: sentences) 

    {    
        for(CoreLabel token: sentence.get(TokensAnnotation.class))
        {       
            String word = token.get(TextAnnotation.class);      
            String lemma = token.get(LemmaAnnotation.class); 
            System.out.println("lemmatized version :" + lemma);
        }
    }

    //...........lemmatization ends.........................

我得到的输出是：-

lemmatized version :painting

我期待的地方

lemmatized version :paint

请赐教。

Answer 1

这个例子中的问题是，绘画这个词可以是 to paint 的现在分词或名词，并且词形还原器的输出取决于分配给原始词的词性标签单词。

如果您只在片段painting 上运行标记器，那么没有上下文可以帮助标记器（或人类）决定应该如何标记单词。在这种情况下，它选择了标签NN，而名词painting的引理实际上是painting。

如果您使用“我正在画一朵花”这句话运行相同的代码。标记器应正确地将 painting 标记为 VBG，并且词形还原器应返回 paint。