【问题标题】:stanford tagger - tagging speed斯坦福标记器 - 标记速度
【发布时间】:2010-07-14 04:17:30
【问题描述】:

关于 stanford tagger,我提供了我自己的标记语料库,用于训练 stanford tagger 的模型。但是,我已经意识到我的标注器模型的标注速度比默认的 wsjleft3 标注器模型慢得多。什么可能对此有所贡献?以及如何提高模型的速度? (除了 Penn 树库标签集之外,我还添加了 3 或 4 个自定义标签)

【问题讨论】:

    标签: nlp stanford-nlp


    【解决方案1】:

    虽然添加更多特征(在 Arch 中)通常会使其速度变慢(因为特征提取是主要的运行时成本之一),但速度的两大决定因素是:

    • 中使用的上下文标签数 特点:left3words 使用 上一个和第二个上一个标签 (2) 所以相当快,双向 使用 4(每边两个),所以是 非常慢。仅使用 1 的标记器 或 0 个上下文标签要快得多 再次。
    • 标签集的一般大小,特别是可应用于未知单词的开放类标签集的大小。 (但添加 3 或 4 应该几乎没有区别——当您有一个包含数百个标签的标签集时,这是有问题的。)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多