带有 GATE twitter 模型的斯坦福 POS 标记器速度很慢答案

【问题标题】：Stanford POS tagger with GATE twitter model is slow带有 GATE twitter 模型的斯坦福 POS 标记器速度很慢
【发布时间】：2014-12-28 15:03:06
【问题描述】：

我正在使用Stanford POS tagger 和GATE Twitter model，并且标记器需要大约 3 秒来初始化，这是正常的还是我加载不正确？

小示例代码：

package tweet.nlp.test;

import edu.stanford.nlp.tagger.maxent.MaxentTagger;

public class TweetNLPTest {

    public static void main(String[] args) {
        String text = "My sister won't tell me where she hid my food. She's fueling my anorexia. #bestsisteraward #not ????????";

        MaxentTagger tagger = new MaxentTagger("models/gate-EN-twitter.model");

        String taggedText = tagger.tagString(text);
    }
}

输出：

从 models/gate-EN-twitter.model 中读取 POS 标注模型 ... 警告：没有设置语言，没有指定开放类标签，也没有指定的封闭类标签；假设所有标签都是开放类标签完成 [3.1 秒]。

My_PRP$ 姐姐_NN 不会_MD 告诉_VB 我_PRP where_WRB she_PRP hid_VBD my_PRP$ food._NN She's_VBZ 加油_VBG my_PRP$ 厌食症._NN #bestsisteraward_HT #not_HT ????????_HT BUILD SUCCESSFUL （总时间：3秒）

【问题讨论】：

@Yasen 我想也许我做的不对，因为 GATE 模型有一个 .model 扩展名，而其他模型有一个 .tagger 扩展名。这跟什么都没有关系吧？

标签： java performance twitter nlp gate

【解决方案1】：

对我来说，它看起来很正常，初始化大约需要 2 或 3 秒。 .tagger 与 .model 相同。

您可以在 Stanford Tagger 提供的示例模型中看到它：

model = wsj-0-18-bidirectional-nodistsim.tagger

【讨论】：

好吧，至少我找到了一个可以将代表交给 :P
其他，我不太明白你是否想使用 GATE API，但如果是这样，你可以创建一个新的 StanfordTaggerPR 像 pr =(LanguageAnalyser)Factory.createResource("gate.stanford.Tagger",params,features);